一、LSTM的本質(zhì)

RNN 面臨問題：RNN（遞歸神經(jīng)網(wǎng)絡(luò)）在處理長序列時(shí)面臨的主要問題：短時(shí)記憶和梯度消失/梯度爆炸。

• 短時(shí)記憶
• 問題描述：RNN在處理長序列時(shí)，由于信息的傳遞是通過隱藏狀態(tài)進(jìn)行的，隨著時(shí)間的推移，較早時(shí)間步的信息可能會(huì)在傳遞到后面的時(shí)間步時(shí)逐漸消失或被覆蓋。
• 影響：這導(dǎo)致RNN難以捕捉和利用序列中的長期依賴關(guān)系，從而限制了其在處理復(fù)雜任務(wù)時(shí)的性能。
• 梯度消失/梯度爆炸
• 問題描述：在RNN的反向傳播過程中，梯度會(huì)隨著時(shí)間步的推移而逐漸消失（變得非常?。┗虮ǎㄗ兊梅浅４螅?/li>
• 影響：梯度消失使得RNN在訓(xùn)練時(shí)難以學(xué)習(xí)到長期依賴關(guān)系，因?yàn)檩^早時(shí)間步的梯度信息在反向傳播到初始層時(shí)幾乎為零。梯度爆炸則可能導(dǎo)致訓(xùn)練過程不穩(wěn)定，權(quán)重更新過大，甚至導(dǎo)致數(shù)值溢出。

LSTM解決問題：大腦和LSTM在處理信息時(shí)都選擇性地保留重要信息，忽略不相關(guān)細(xì)節(jié)，并據(jù)此進(jìn)行后續(xù)處理。這種機(jī)制使它們能夠高效地處理和輸出關(guān)鍵信息，解決了RNN（遞歸神經(jīng)網(wǎng)絡(luò)）在處理長序列時(shí)面臨的問題。

• 大腦記憶機(jī)制：當(dāng)瀏覽評論時(shí)，大腦傾向于記住重要的關(guān)鍵詞。無關(guān)緊要的詞匯和內(nèi)容容易被忽略。回憶時(shí)，大腦提取并表達(dá)主要觀點(diǎn)，忽略細(xì)節(jié)。
• LSTM門控機(jī)制：LSTM通過輸入門、遺忘門和輸出門選擇性地保留或忘記信息，使用保留的相關(guān)信息來進(jìn)行預(yù)測，類似于大腦提取并表達(dá)主要觀點(diǎn)。

二、LSTM的原理

RNN 工作原理：第一個(gè)詞被轉(zhuǎn)換成了機(jī)器可讀的向量，然后 RNN 逐個(gè)處理向量序列。

• 隱藏狀態(tài)的傳遞
• 過程描述：在處理序列數(shù)據(jù)時(shí)，RNN將前一時(shí)間步的隱藏狀態(tài)傳遞給下一個(gè)時(shí)間步。
• 作用：隱藏狀態(tài)充當(dāng)了神經(jīng)網(wǎng)絡(luò)的“記憶”，它包含了網(wǎng)絡(luò)之前所見過的數(shù)據(jù)的相關(guān)信息。
• 重要性：這種傳遞機(jī)制使得RNN能夠捕捉序列中的時(shí)序依賴關(guān)系。

• 隱藏狀態(tài)的計(jì)算
• 細(xì)胞結(jié)構(gòu)：RNN的一個(gè)細(xì)胞接收當(dāng)前時(shí)間步的輸入和前一時(shí)間步的隱藏狀態(tài)。
• 組合方式：當(dāng)前輸入和先前隱藏狀態(tài)被組合成一個(gè)向量，這個(gè)向量融合了當(dāng)前和先前的信息。
• 激活函數(shù)：組合后的向量經(jīng)過一個(gè)tanh激活函數(shù)的處理，輸出新的隱藏狀態(tài)。這個(gè)新的隱藏狀態(tài)既包含了當(dāng)前輸入的信息，也包含了之前所有輸入的歷史信息。

• 輸出：新的隱藏狀態(tài)被輸出，并被傳遞給下一個(gè)時(shí)間步，繼續(xù)參與序列的處理過程。

LSTM工作原理：

• 輸入門
  • 作用：決定哪些新信息應(yīng)該被添加到記憶單元中。
  • 組成：輸入門由一個(gè)sigmoid激活函數(shù)和一個(gè)tanh激活函數(shù)組成。sigmoid函數(shù)決定哪些信息是重要的，而tanh函數(shù)則生成新的候選信息。
  • 運(yùn)算：輸入門的輸出與候選信息相乘，得到的結(jié)果將在記憶單元更新時(shí)被考慮。

• 遺忘門
  • 作用：決定哪些舊信息應(yīng)該從記憶單元中遺忘或移除。
  • 組成：遺忘門僅由一個(gè)sigmoid激活函數(shù)組成。

• 運(yùn)算：sigmoid函數(shù)的輸出直接與記憶單元的當(dāng)前狀態(tài)相乘，用于決定哪些信息應(yīng)該被保留，哪些應(yīng)該被遺忘。輸出值越接近1的信息將被保留，而輸出值越接近0的信息將被遺忘。

• 輸出門
  • 作用：決定記憶單元中的哪些信息應(yīng)該被輸出到當(dāng)前時(shí)間步的隱藏狀態(tài)中。
  • 組成：輸出門同樣由一個(gè)sigmoid激活函數(shù)和一個(gè)tanh激活函數(shù)組成。sigmoid函數(shù)決定哪些信息應(yīng)該被輸出，而tanh函數(shù)則處理記憶單元的狀態(tài)以準(zhǔn)備輸出。
  • 運(yùn)算：sigmoid函數(shù)的輸出與經(jīng)過tanh函數(shù)處理的記憶單元狀態(tài)相乘，得到的結(jié)果即為當(dāng)前時(shí)間步的隱藏狀態(tài)。

三、LSTM的應(yīng)用

機(jī)器翻譯：

應(yīng)用描述：LSTM在機(jī)器翻譯中用于將源語言句子自動(dòng)翻譯成目標(biāo)語言句子。

關(guān)鍵組件：

• 編碼器（Encoder）：一個(gè)LSTM網(wǎng)絡(luò)，負(fù)責(zé)接收源語言句子并將其編碼成一個(gè)固定長度的上下文向量。
• 解碼器（Decoder）：另一個(gè)LSTM網(wǎng)絡(luò)，根據(jù)上下文向量生成目標(biāo)語言的翻譯句子。

流程：

1. 源語言輸入：將源語言句子分詞并轉(zhuǎn)換為詞向量序列。
2. 編碼：使用編碼器LSTM處理源語言詞向量序列，輸出上下文向量。
3. 初始化解碼器：將上下文向量作為解碼器LSTM的初始隱藏狀態(tài)。
4. 解碼：解碼器LSTM逐步生成目標(biāo)語言的詞序列，直到生成完整的翻譯句子。
5. 目標(biāo)語言輸出：將解碼器生成的詞序列轉(zhuǎn)換為目標(biāo)語言句子。

優(yōu)化：通過比較生成的翻譯句子與真實(shí)目標(biāo)句子，使用反向傳播算法優(yōu)化LSTM模型的參數(shù)，以提高翻譯質(zhì)量。

情感分析：

應(yīng)用描述：LSTM用于對文本進(jìn)行情感分析，判斷其情感傾向（積極、消極或中立）。

關(guān)鍵組件：

• LSTM網(wǎng)絡(luò)：接收文本序列并提取情感特征。
• 分類層：根據(jù)LSTM提取的特征進(jìn)行情感分類。

流程：

1. 文本預(yù)處理：將文本分詞、去除停用詞等預(yù)處理操作。
2. 文本表示：將預(yù)處理后的文本轉(zhuǎn)換為詞向量序列。
3. 特征提取：使用LSTM網(wǎng)絡(luò)處理詞向量序列，提取文本中的情感特征。
4. 情感分類：將LSTM提取的特征輸入到分類層進(jìn)行分類，得到情感傾向。
5. 輸出：輸出文本的情感傾向（積極、消極或中立）。

優(yōu)化：通過比較預(yù)測的情感傾向與真實(shí)標(biāo)簽，使用反向傳播算法優(yōu)化LSTM模型的參數(shù)，以提高情感分析的準(zhǔn)確性。

文章轉(zhuǎn)自微信公眾號@架構(gòu)師帶你玩轉(zhuǎn)AI

#你可能也喜歡這些API文章!

使用這些基本 REST API 最佳實(shí)踐構(gòu)建出色的 API

如何使用API：初學(xué)者的分步教程