亚洲欧美在线观看91偷拍,久久久久久久国产精品,久久国产午夜精品理论片34页

Query、Key和Value矩陣：
- Query矩陣（Q）：表示當前的關注點或信息需求，用于與Key矩陣進行匹配。
- Key矩陣（K）：包含輸入序列中各個位置的標識信息，用于被Query矩陣查詢匹配。
- Value矩陣（V）：存儲了與Key矩陣相對應的實際值或信息內容，當Query與某個Key匹配時，相應的Value將被用來計算輸出。
點積計算：
- 通過計算Query矩陣和Key矩陣之間的點積（即對應元素相乘后求和），來衡量Query與每個Key之間的相似度或匹配程度。
縮放因子：
- 由于點積操作的結果可能非常大，尤其是在輸入維度較高的情況下，這可能導致softmax函數在計算注意力權重時進入飽和區。為了避免這個問題，縮放點積注意力引入了一個縮放因子，通常是輸入維度的平方根。點積結果除以這個縮放因子，可以使得softmax函數的輸入保持在一個合理的范圍內。
Softmax函數：
- 將縮放后的點積結果輸入到softmax函數中，計算每個Key相對于Query的注意力權重。Softmax函數將原始得分轉換為概率分布，使得所有Key的注意力權重之和為1。

工作原理：單頭Attention通過計算每個token的查詢向量與所有token的鍵向量的點積，并經過softmax歸一化得到注意力權重，再將這些權重應用于值向量進行加權求和，從而生成每個token的自注意力輸出表示。

每個token對應的Query向量與每個token對應的Key向量做點積對于輸入序列中的每個token，我們都有一個對應的查詢向量（Query Vector, Q）和鍵向量（Key Vector, K）。我們計算每個查詢向量與所有鍵向量的點積。這個步驟是在所有token之間建立關系，表示每個token對其他token的“關注”程度。

將上述點積取softmax（得到0~1之間的值，即為Attention權重）點積的結果需要經過一個softmax函數，確保所有token的注意力權重之和為1。softmax函數將點積結果轉換為0到1之間的值，這些值表示了每個token相對于其他所有token的注意力權重。

計算每個token相對于所有其它token的Attention權重（最終構成一個Attention矩陣）經過softmax處理后的注意力權重構成了一個Attention矩陣。這個矩陣的每一行對應一個token，每一列也對應一個token，矩陣中的每個元素表示了對應行token對列token的注意力權重。

每個token對應的value向量乘以Attention權重，并相加，得到當前token的Self-Attention value向量使用這個Attention矩陣來加權輸入序列中的值向量（Value Vector, V）。具體來說，對于每個token，我們將其對應的值向量與Attention矩陣中該token所在行的所有權重相乘，并將結果相加。這個加權求和的結果就是該token經過自注意力機制處理后的輸出表示。

將上述操作應用于每個token上述操作會應用于輸入序列中的每個token，從而得到每個token經過自注意力機制處理后的輸出表示。這些輸出表示通常會被送入模型的下一個層進行進一步的處理。

二、多頭Attention工作原理

多頭Attention（Multi-Head Attention）：多頭注意力機制通過并行運行多個Self-Attention層并綜合其結果，能夠同時捕捉輸入序列在不同子空間中的信息，從而增強模型的表達能力。

工作原理：多頭Attention將每個頭得到向量拼接在一起，最后乘一個線性矩陣，得到 Multi-Head Attention 的輸出。

輸入線性變換：對于輸入的Query（查詢）、Key（鍵）和Value（值）向量，首先通過線性變換將它們映射到不同的子空間。這些線性變換的參數是模型需要學習的。
分割多頭：經過線性變換后，Query、Key和Value向量被分割成多個頭。每個頭都會獨立地進行注意力計算。
縮放點積注意力：在每個頭內部，使用縮放點積注意力來計算Query和Key之間的注意力分數。這個分數決定了在生成輸出時，模型應該關注Value向量的部分。
注意力權重應用：將計算出的注意力權重應用于Value向量，得到加權的中間輸出。這個過程可以理解為根據注意力權重對輸入信息進行篩選和聚焦。
拼接和線性變換：將所有頭的加權輸出拼接在一起，然后通過一個線性變換得到最終的Multi-Head Attention輸出。

前饋網絡（Feed-Forward Network）：Transformer模型中，前饋網絡用于將輸入的詞向量映射到輸出的詞向量，以提取更豐富的語義信息。前饋網絡通常包括幾個線性變換和非線性激活函數，以及一個殘差連接和一個層歸一化操作。

Encoder編碼器：
Transformer中的編碼器部分一共N個相同的編碼器層組成。每個編碼器層都有兩個子層，即多頭自注意力層(Multi-Head Attention)層和前饋神經網絡(Feed-Forward Network)。
在每個子層后面都有殘差連接（圖中的虛線）和層歸一化（LayerNorm）操作，二者合起來稱為Add&Norm操作。

Decoder解碼器：
Transformer中的解碼器部分同樣一共N個相同的解碼器層組成。每個解碼器層都有三個子層，掩蔽自注意力層(Masked Self-Attention)、Encoder-Decoder注意力層、前饋神經網絡(Feed-Forward Network)。
同樣，在每個子層后面都有殘差連接（圖中的虛線）和層歸一化（LayerNorm）操作，二者合起來稱為Add&Norm操作。