一、LSTM的本質

RNN 面臨問題：RNN（遞歸神經網絡）在處理長序列時面臨的主要問題：短時記憶和梯度消失/梯度爆炸。

• 短時記憶
• 問題描述：RNN在處理長序列時，由于信息的傳遞是通過隱藏狀態進行的，隨著時間的推移，較早時間步的信息可能會在傳遞到后面的時間步時逐漸消失或被覆蓋。
• 影響：這導致RNN難以捕捉和利用序列中的長期依賴關系，從而限制了其在處理復雜任務時的性能。
• 梯度消失/梯度爆炸
• 問題描述：在RNN的反向傳播過程中，梯度會隨著時間步的推移而逐漸消失（變得非常小）或爆炸（變得非常大）。
• 影響：梯度消失使得RNN在訓練時難以學習到長期依賴關系，因為較早時間步的梯度信息在反向傳播到初始層時幾乎為零。梯度爆炸則可能導致訓練過程不穩定，權重更新過大，甚至導致數值溢出。

LSTM解決問題：大腦和LSTM在處理信息時都選擇性地保留重要信息，忽略不相關細節，并據此進行后續處理。這種機制使它們能夠高效地處理和輸出關鍵信息，解決了RNN（遞歸神經網絡）在處理長序列時面臨的問題。

• 大腦記憶機制：當瀏覽評論時，大腦傾向于記住重要的關鍵詞。無關緊要的詞匯和內容容易被忽略。回憶時，大腦提取并表達主要觀點，忽略細節。
• LSTM門控機制：LSTM通過輸入門、遺忘門和輸出門選擇性地保留或忘記信息，使用保留的相關信息來進行預測，類似于大腦提取并表達主要觀點。

二、LSTM的原理

RNN 工作原理：第一個詞被轉換成了機器可讀的向量，然后 RNN 逐個處理向量序列。

• 隱藏狀態的傳遞
• 過程描述：在處理序列數據時，RNN將前一時間步的隱藏狀態傳遞給下一個時間步。
• 作用：隱藏狀態充當了神經網絡的“記憶”，它包含了網絡之前所見過的數據的相關信息。
• 重要性：這種傳遞機制使得RNN能夠捕捉序列中的時序依賴關系。

• 隱藏狀態的計算
• 細胞結構：RNN的一個細胞接收當前時間步的輸入和前一時間步的隱藏狀態。
• 組合方式：當前輸入和先前隱藏狀態被組合成一個向量，這個向量融合了當前和先前的信息。
• 激活函數：組合后的向量經過一個tanh激活函數的處理，輸出新的隱藏狀態。這個新的隱藏狀態既包含了當前輸入的信息，也包含了之前所有輸入的歷史信息。

• 輸出：新的隱藏狀態被輸出，并被傳遞給下一個時間步，繼續參與序列的處理過程。

LSTM工作原理：

• 輸入門
  • 作用：決定哪些新信息應該被添加到記憶單元中。
  • 組成：輸入門由一個sigmoid激活函數和一個tanh激活函數組成。sigmoid函數決定哪些信息是重要的，而tanh函數則生成新的候選信息。
  • 運算：輸入門的輸出與候選信息相乘，得到的結果將在記憶單元更新時被考慮。

• 遺忘門
  • 作用：決定哪些舊信息應該從記憶單元中遺忘或移除。
  • 組成：遺忘門僅由一個sigmoid激活函數組成。

• 運算：sigmoid函數的輸出直接與記憶單元的當前狀態相乘，用于決定哪些信息應該被保留，哪些應該被遺忘。輸出值越接近1的信息將被保留，而輸出值越接近0的信息將被遺忘。

• 輸出門
  • 作用：決定記憶單元中的哪些信息應該被輸出到當前時間步的隱藏狀態中。
  • 組成：輸出門同樣由一個sigmoid激活函數和一個tanh激活函數組成。sigmoid函數決定哪些信息應該被輸出，而tanh函數則處理記憶單元的狀態以準備輸出。
  • 運算：sigmoid函數的輸出與經過tanh函數處理的記憶單元狀態相乘，得到的結果即為當前時間步的隱藏狀態。

三、LSTM的應用

機器翻譯：

應用描述：LSTM在機器翻譯中用于將源語言句子自動翻譯成目標語言句子。

關鍵組件：

• 編碼器（Encoder）：一個LSTM網絡，負責接收源語言句子并將其編碼成一個固定長度的上下文向量。
• 解碼器（Decoder）：另一個LSTM網絡，根據上下文向量生成目標語言的翻譯句子。

流程：

1. 源語言輸入：將源語言句子分詞并轉換為詞向量序列。
2. 編碼：使用編碼器LSTM處理源語言詞向量序列，輸出上下文向量。
3. 初始化解碼器：將上下文向量作為解碼器LSTM的初始隱藏狀態。
4. 解碼：解碼器LSTM逐步生成目標語言的詞序列，直到生成完整的翻譯句子。
5. 目標語言輸出：將解碼器生成的詞序列轉換為目標語言句子。

優化：通過比較生成的翻譯句子與真實目標句子，使用反向傳播算法優化LSTM模型的參數，以提高翻譯質量。

情感分析：

應用描述：LSTM用于對文本進行情感分析，判斷其情感傾向（積極、消極或中立）。

關鍵組件：

• LSTM網絡：接收文本序列并提取情感特征。
• 分類層：根據LSTM提取的特征進行情感分類。

流程：

1. 文本預處理：將文本分詞、去除停用詞等預處理操作。
2. 文本表示：將預處理后的文本轉換為詞向量序列。
3. 特征提取：使用LSTM網絡處理詞向量序列，提取文本中的情感特征。
4. 情感分類：將LSTM提取的特征輸入到分類層進行分類，得到情感傾向。
5. 輸出：輸出文本的情感傾向（積極、消極或中立）。

優化：通過比較預測的情感傾向與真實標簽，使用反向傳播算法優化LSTM模型的參數，以提高情感分析的準確性。

文章轉自微信公眾號@架構師帶你玩轉AI

#你可能也喜歡這些API文章!

使用這些基本 REST API 最佳實踐構建出色的 API

如何使用API：初學者的分步教程

使用NestJS和Prisma構建REST API：身份驗證