其中：

•  是遺忘門的輸出。
•  是sigmoid激活函數(shù)。
•  是遺忘門的權(quán)重矩陣。
•  是前一時(shí)刻的隱藏狀態(tài)。
•  是當(dāng)前時(shí)刻的輸入。
•  是遺忘門的偏置。

2. 輸入門（Input Gate）

輸入門用于決定當(dāng)前時(shí)刻哪些信息需要寫入細(xì)胞狀態(tài)。包括兩個(gè)步驟：

• 計(jì)算輸入門的激活值。
• 生成新的候選細(xì)胞狀態(tài)。

計(jì)算輸入門的激活值：

生成新的候選細(xì)胞狀態(tài)：

其中：

•  是輸入門的輸出。
•  是新的候選細(xì)胞狀態(tài)。
•  是輸入門的權(quán)重矩陣。
•  是候選細(xì)胞狀態(tài)的權(quán)重矩陣。
•  是輸入門的偏置。
•  是候選細(xì)胞狀態(tài)的偏置。

3. 更新 Cell State

細(xì)胞狀態(tài)的更新包括兩部分：保留部分舊的細(xì)胞狀態(tài)和添加新的細(xì)胞狀態(tài)。公式如下：

其中：

•  是當(dāng)前時(shí)刻的細(xì)胞狀態(tài)。
•  是元素級(jí)別的乘法。

4. 輸出門（Output Gate）

輸出門用于決定當(dāng)前時(shí)刻的隱藏狀態(tài)。公式如下：

當(dāng)前時(shí)刻的隱藏狀態(tài)：

其中：

•  是輸出門的輸出。
•  是輸出門的權(quán)重矩陣。
•  是輸出門的偏置。

總的來說，LSTM通過引入遺忘門、輸入門和輸出門，有效地控制了信息的流動(dòng)，解決了傳統(tǒng)RNN在處理長(zhǎng)序列數(shù)據(jù)時(shí)的梯度消失和梯度爆炸問題。

這里再匯總一下上面的公式：

1. 遺忘門：
2. 輸入門：
3. 候選細(xì)胞狀態(tài)：$ \tilde{C}t = \tanh(W_C \cdot [h{t-1}, x_t] + b_C) $
4. 更新細(xì)胞狀態(tài)：
5. 輸出門：
6. 隱藏狀態(tài)：

通過這些公式，LSTM能夠有效地捕捉和保留序列中的長(zhǎng)期依賴關(guān)系，從而在處理時(shí)間序列數(shù)據(jù)、自然語言處理等任務(wù)中表現(xiàn)出色。

案例：利用LSTM進(jìn)行時(shí)間序列預(yù)測(cè)

數(shù)據(jù)集介紹

數(shù)據(jù)集來自UCI機(jī)器學(xué)習(xí)庫的北京PM2.5數(shù)據(jù)集。數(shù)據(jù)包含2010年至2014年北京空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)，包括PM2.5濃度、天氣數(shù)據(jù)等。

公眾號(hào)后臺(tái)，回復(fù)「數(shù)據(jù)集」，取PRSA_data_2010.1.1-2014.12.31.csv

PRSA_data_2010.1.1-2014.12.31.csv 數(shù)據(jù)集包括以下列：

• No: 行號(hào)
• year: 年
• month: 月
• day: 日
• hour: 小時(shí)
• pm2.5: PM2.5濃度（ug/m^3）
• DEWP: 露點(diǎn)溫度（攝氏度）
• TEMP: 溫度（攝氏度）
• PRES: 壓力（hPa）
• cbwd: 風(fēng)向
• Iws: 風(fēng)速（m/s）
• Is: 累計(jì)小時(shí)數(shù)
• Ir: 累計(jì)降雨量（mm）

算法流程

1. 數(shù)據(jù)加載與預(yù)處理
   • 加載數(shù)據(jù)并進(jìn)行數(shù)據(jù)清洗。
   • 處理缺失值。
   • 數(shù)據(jù)標(biāo)準(zhǔn)化。
   • 生成訓(xùn)練集和測(cè)試集。
2. 構(gòu)建LSTM模型
   • 定義模型架構(gòu)。
   • 編譯模型。
3. 模型訓(xùn)練
   • 訓(xùn)練模型。
   • 監(jiān)控訓(xùn)練過程。
4. 模型評(píng)估
   • 進(jìn)行預(yù)測(cè)并評(píng)估模型性能。
   • 進(jìn)行可視化分析。

完整代碼

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

from sklearn.preprocessing import MinMaxScaler

from keras.models import Sequential

from keras.layers import LSTM, Dense

from keras.callbacks import EarlyStopping



# 數(shù)據(jù)加載

data = pd.read_csv('PRSA_data_2010.1.1-2014.12.31.csv')



# 數(shù)據(jù)預(yù)處理

data['pm2.5'].fillna(data['pm2.5'].mean(), inplace=True)  # 處理缺失值



# 選擇特征和目標(biāo)變量

features = ['DEWP', 'TEMP', 'PRES', 'Iws']

target = 'pm2.5'



# 標(biāo)準(zhǔn)化

scaler = MinMaxScaler()

data_scaled = scaler.fit_transform(data[features + [target]])



# 創(chuàng)建時(shí)間序列數(shù)據(jù)集

def create_dataset(dataset, look_back=1):

    X, y = [], []

    for i in range(len(dataset) - look_back):

        X.append(dataset[i:(i + look_back), :-1])

        y.append(dataset[i + look_back, -1])

    return np.array(X), np.array(y)



look_back = 24

X, y = create_dataset(data_scaled, look_back)



# 劃分訓(xùn)練集和測(cè)試集

train_size = int(len(X) * 0.8)

X_train, X_test = X[:train_size], X[train_size:]

y_train, y_test = y[:train_size], y[train_size:]



# 構(gòu)建LSTM模型

model = Sequential()

model.add(LSTM(50, return_sequences=True, input_shape=(look_back, len(features))))

model.add(LSTM(50))

model.add(Dense(1))

model.compile(optimizer='adam', loss='mean_squared_error')



# 模型訓(xùn)練

early_stopping = EarlyStopping(monitor='val_loss', patience=10)

history = model.fit(X_train, y_train, epochs=100, batch_size=32, validation_split=0.2, callbacks=[early_stopping])



# 模型評(píng)估

y_pred = model.predict(X_test)



# 反標(biāo)準(zhǔn)化

y_test_inv = scaler.inverse_transform(np.concatenate((X_test[:, -1, :-1], y_test.reshape(-1, 1)), axis=1))[:, -1]

y_pred_inv = scaler.inverse_transform(np.concatenate((X_test[:, -1, :-1], y_pred), axis=1))[:, -1]



# 繪制結(jié)果

plt.figure(figsize=(12, 6))

plt.plot(y_test_inv, label='True')

plt.plot(y_pred_inv, label='Predicted')

plt.legend()

plt.show()



# 繪制損失曲線

plt.figure(figsize=(12, 6))

plt.plot(history.history['loss'], label='Training Loss')

plt.plot(history.history['val_loss'], label='Validation Loss')

plt.legend()

plt.show()

代碼中的步驟一些細(xì)節(jié)，再給大家說一下：

1. 超參數(shù)調(diào)整
   • 調(diào)整LSTM層的神經(jīng)元數(shù)量和層數(shù)。
   • 嘗試不同的學(xué)習(xí)率和優(yōu)化器。
   • 調(diào)整batch size和epochs數(shù)量。
2. 特征工程
   • 添加更多的特征，如歷史PM2.5值。
   • 嘗試不同的時(shí)間窗口大小（look_back）。
3. 數(shù)據(jù)處理
   • 處理風(fēng)向（cbwd）等分類變量。
   • 處理可能的異常值。
4. 模型改進(jìn)
   • 嘗試不同的模型結(jié)構(gòu)，如雙向LSTM或GRU。
   • 使用更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）與LSTM結(jié)合。

最后

以上，整個(gè)是一個(gè)完整的LSTM時(shí)間序列預(yù)測(cè)的案例，包括數(shù)據(jù)預(yù)處理、模型構(gòu)建、訓(xùn)練、評(píng)估和可視化。大家在自己實(shí)際的實(shí)驗(yàn)中，根據(jù)需求進(jìn)行進(jìn)一步的調(diào)整和優(yōu)化。

本文章轉(zhuǎn)載微信公眾號(hào)@深夜努力寫Python

#你可能也喜歡這些API文章!

如何高效爬取全球新聞網(wǎng)站 – 整合Scrapy、Selenium與Mediastack API實(shí)現(xiàn)自動(dòng)化新聞采集