91精品一久久香蕉国产线看观看,中文字幕在线免费看,亚洲欧美另类日本

其中：

是遺忘門的輸出。
是sigmoid激活函數。
是遺忘門的權重矩陣。
是前一時刻的隱藏狀態。
是當前時刻的輸入。
是遺忘門的偏置。

2. 輸入門（Input Gate）

輸入門用于決定當前時刻哪些信息需要寫入細胞狀態。包括兩個步驟：

計算輸入門的激活值。
生成新的候選細胞狀態。

計算輸入門的激活值：

生成新的候選細胞狀態：

其中：

是輸入門的輸出。
是新的候選細胞狀態。
是輸入門的權重矩陣。
是候選細胞狀態的權重矩陣。
是輸入門的偏置。
是候選細胞狀態的偏置。

3. 更新 Cell State

細胞狀態的更新包括兩部分：保留部分舊的細胞狀態和添加新的細胞狀態。公式如下：

其中：

是當前時刻的細胞狀態。
是元素級別的乘法。

4. 輸出門（Output Gate）

輸出門用于決定當前時刻的隱藏狀態。公式如下：

當前時刻的隱藏狀態：

其中：

是輸出門的輸出。
是輸出門的權重矩陣。
是輸出門的偏置。

總的來說，LSTM通過引入遺忘門、輸入門和輸出門，有效地控制了信息的流動，解決了傳統RNN在處理長序列數據時的梯度消失和梯度爆炸問題。

這里再匯總一下上面的公式：

遺忘門：
輸入門：
候選細胞狀態：$ \tilde{C}t = \tanh(W_C \cdot [h{t-1}, x_t] + b_C) $
更新細胞狀態：
輸出門：
隱藏狀態：

通過這些公式，LSTM能夠有效地捕捉和保留序列中的長期依賴關系，從而在處理時間序列數據、自然語言處理等任務中表現出色。

案例：利用LSTM進行時間序列預測

數據集介紹

數據集來自UCI機器學習庫的北京PM2.5數據集。數據包含2010年至2014年北京空氣質量監測數據，包括PM2.5濃度、天氣數據等。

公眾號后臺，回復「數據集」，取PRSA_data_2010.1.1-2014.12.31.csv

PRSA_data_2010.1.1-2014.12.31.csv 數據集包括以下列：

No: 行號
year: 年
month: 月
day: 日
hour: 小時
pm2.5: PM2.5濃度（ug/m^3）
DEWP: 露點溫度（攝氏度）
TEMP: 溫度（攝氏度）
PRES: 壓力（hPa）
cbwd: 風向
Iws: 風速（m/s）
Is: 累計小時數
Ir: 累計降雨量（mm）

算法流程

數據加載與預處理
- 加載數據并進行數據清洗。
- 處理缺失值。
- 數據標準化。
- 生成訓練集和測試集。
構建LSTM模型
- 定義模型架構。
- 編譯模型。
模型訓練
- 訓練模型。
- 監控訓練過程。
模型評估
- 進行預測并評估模型性能。
- 進行可視化分析。

完整代碼

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

from sklearn.preprocessing import MinMaxScaler

from keras.models import Sequential

from keras.layers import LSTM, Dense

from keras.callbacks import EarlyStopping



# 數據加載

data = pd.read_csv('PRSA_data_2010.1.1-2014.12.31.csv')



# 數據預處理

data['pm2.5'].fillna(data['pm2.5'].mean(), inplace=True)  # 處理缺失值



# 選擇特征和目標變量

features = ['DEWP', 'TEMP', 'PRES', 'Iws']

target = 'pm2.5'



# 標準化

scaler = MinMaxScaler()

data_scaled = scaler.fit_transform(data[features + [target]])



# 創建時間序列數據集

def create_dataset(dataset, look_back=1):

    X, y = [], []

    for i in range(len(dataset) - look_back):

        X.append(dataset[i:(i + look_back), :-1])

        y.append(dataset[i + look_back, -1])

    return np.array(X), np.array(y)



look_back = 24

X, y = create_dataset(data_scaled, look_back)



# 劃分訓練集和測試集

train_size = int(len(X) * 0.8)

X_train, X_test = X[:train_size], X[train_size:]

y_train, y_test = y[:train_size], y[train_size:]



# 構建LSTM模型

model = Sequential()

model.add(LSTM(50, return_sequences=True, input_shape=(look_back, len(features))))

model.add(LSTM(50))

model.add(Dense(1))

model.compile(optimizer='adam', loss='mean_squared_error')



# 模型訓練

early_stopping = EarlyStopping(monitor='val_loss', patience=10)

history = model.fit(X_train, y_train, epochs=100, batch_size=32, validation_split=0.2, callbacks=[early_stopping])



# 模型評估

y_pred = model.predict(X_test)



# 反標準化

y_test_inv = scaler.inverse_transform(np.concatenate((X_test[:, -1, :-1], y_test.reshape(-1, 1)), axis=1))[:, -1]

y_pred_inv = scaler.inverse_transform(np.concatenate((X_test[:, -1, :-1], y_pred), axis=1))[:, -1]



# 繪制結果

plt.figure(figsize=(12, 6))

plt.plot(y_test_inv, label='True')

plt.plot(y_pred_inv, label='Predicted')

plt.legend()

plt.show()



# 繪制損失曲線

plt.figure(figsize=(12, 6))

plt.plot(history.history['loss'], label='Training Loss')

plt.plot(history.history['val_loss'], label='Validation Loss')

plt.legend()

plt.show()