高清国产美女一级毛片,色综合天天综合网亚洲影院,91国语精品自产拍在线观看性色

一、簡要介紹

Self-Attention（自注意力機(jī)制）：使輸入序列中的每個(gè)元素能夠關(guān)注并加權(quán)整個(gè)序列中的其他元素，生成新的輸出表示，不依賴外部信息或歷史狀態(tài)。

Self-Attention允許輸入序列中的每個(gè)元素都與序列中的其他所有元素進(jìn)行交互。
它通過計(jì)算每個(gè)元素對(duì)其他所有元素的注意力權(quán)重，然后將這些權(quán)重應(yīng)用于對(duì)應(yīng)元素的表示，從而得到一個(gè)加權(quán)和的輸出表示。
Self-Attention不依賴于外部信息或先前的隱藏狀態(tài)，完全基于輸入序列本身。

Multi-Head Attention（多頭注意力機(jī)制）：通過并行運(yùn)行多個(gè)Self-Attention層并綜合其結(jié)果，能夠同時(shí)捕捉輸入序列在不同子空間中的信息，從而增強(qiáng)模型的表達(dá)能力。

Multi-Head Attention實(shí)際上是多個(gè)并行的Self-Attention層，每個(gè)“頭”都獨(dú)立地學(xué)習(xí)不同的注意力權(quán)重。
這些“頭”的輸出隨后被合并（通常是拼接后再通過一個(gè)線性層），以產(chǎn)生最終的輸出表示。
通過這種方式，Multi-Head Attention能夠同時(shí)關(guān)注來自輸入序列的不同子空間的信息。

二、工作流程

Self-Attention（自注意力機(jī)制）：通過生成查詢、鍵和值向量，計(jì)算并歸一化注意力分?jǐn)?shù)，最終對(duì)值向量進(jìn)行加權(quán)求和，從而得到輸入序列中每個(gè)位置的加權(quán)表示。

第一步：查詢、鍵和值的生成

輸入：接收一個(gè)由嵌入向量組成的輸入序列，這些嵌入向量可以是詞嵌入加上位置嵌入。
處理：使用三個(gè)獨(dú)立的線性層（或稱為密集層）為每個(gè)輸入向量生成查詢（Q）、鍵（K）和值（V）向量。
- 查詢向量用于表示當(dāng)前焦點(diǎn)或希望獲取的信息。
- 鍵向量用于確定與查詢向量匹配的信息。
- 值向量包含與相應(yīng)的鍵向量關(guān)聯(lián)的實(shí)際信息。

第二步：注意力矩陣的計(jì)算

處理：計(jì)算查詢向量和所有鍵向量之間的點(diǎn)積，形成一個(gè)注意力分?jǐn)?shù)矩陣。
- 這個(gè)矩陣的每個(gè)元素表示一個(gè)查詢向量和對(duì)應(yīng)鍵向量之間的相關(guān)性分?jǐn)?shù)。
- 由于點(diǎn)積操作，分?jǐn)?shù)可能非常大或非常小。

第三步：歸一化注意力分?jǐn)?shù)

處理：應(yīng)用softmax函數(shù)對(duì)注意力分?jǐn)?shù)矩陣進(jìn)行歸一化。
- 歸一化后，每行的和為1，每個(gè)分?jǐn)?shù)表示對(duì)應(yīng)位置信息的權(quán)重。
- 在應(yīng)用softmax之前，通常會(huì)除以一個(gè)縮放因子（如查詢或鍵向量維度的平方根）來穩(wěn)定梯度。

第四步：加權(quán)和輸出

處理：使用歸一化后的注意力權(quán)重對(duì)值向量進(jìn)行加權(quán)求和。
- 加權(quán)求和的結(jié)果是自注意力機(jī)制的輸出，它包含了輸入序列中所有位置的加權(quán)信息。
- 輸出向量的每個(gè)元素都是輸入向量的加權(quán)和，權(quán)重由注意力機(jī)制決定。

Multi-Head Attention（多頭注意力機(jī)制）：通過將輸入的查詢、鍵和值矩陣分割成多個(gè)頭，并在每個(gè)頭中獨(dú)立計(jì)算注意力，再將這些頭的輸出拼接并線性變換，從而實(shí)現(xiàn)在不同表示子空間中同時(shí)捕獲和整合多種交互信息，提升模型的表達(dá)能力。

初始化: 首先，初始化必要的參數(shù)，包括查詢、鍵和值矩陣的權(quán)重，以及多頭注意力中的頭數(shù)。這些權(quán)重將用于后續(xù)的線性變換。
線性變換: 對(duì)輸入的查詢、鍵和值矩陣進(jìn)行線性變換。這些線性變換是通過與相應(yīng)的權(quán)重矩陣相乘來實(shí)現(xiàn)的。變換后的矩陣將用于后續(xù)的多頭注意力計(jì)算。
分割與投影: 將線性變換后的查詢、鍵和值矩陣分割成多個(gè)頭。每個(gè)頭都有自己的查詢、鍵和值矩陣。然后，在每個(gè)頭中獨(dú)立地計(jì)算注意力分?jǐn)?shù)。
縮放與Softmax: 對(duì)每個(gè)頭的注意力分?jǐn)?shù)進(jìn)行縮放，以避免梯度消失或爆炸的問題。然后，應(yīng)用Softmax函數(shù)將注意力分?jǐn)?shù)歸一化，使得每個(gè)位置的權(quán)重之和為1。
加權(quán)求和: 使用歸一化后的注意力權(quán)重對(duì)值矩陣進(jìn)行加權(quán)求和，得到每個(gè)頭的輸出矩陣。
拼接與線性變換: 將所有頭的輸出矩陣拼接在一起，形成一個(gè)大的輸出矩陣。然后，對(duì)這個(gè)輸出矩陣進(jìn)行線性變換，得到最終的輸出。

三、兩者對(duì)比

核心差異：Self-Attention關(guān)注序列內(nèi)每個(gè)位置對(duì)其他所有位置的重要性，而Multi-Head Attention則通過在多個(gè)子空間中并行計(jì)算注意力，使模型能夠同時(shí)捕獲和整合不同方面的上下文信息，從而增強(qiáng)了對(duì)復(fù)雜數(shù)據(jù)內(nèi)在結(jié)構(gòu)的建模能力。

Self-Attention (自注意力機(jī)制)：自注意力機(jī)制的核心是為輸入序列中的每一個(gè)位置學(xué)習(xí)一個(gè)權(quán)重分布，這樣模型就能知道在處理當(dāng)前位置時(shí)，哪些位置的信息更為重要。Self-Attention特指在序列內(nèi)部進(jìn)行的注意力計(jì)算，即序列中的每一個(gè)位置都要和其他所有位置進(jìn)行注意力權(quán)重的計(jì)算。
Multi-Head Attention (多頭注意力機(jī)制)：為了讓模型能夠同時(shí)關(guān)注來自不同位置的信息，Transformer引入了Multi-Head Attention。它的基本思想是將輸入序列的表示拆分成多個(gè)子空間（頭），然后在每個(gè)子空間內(nèi)獨(dú)立地計(jì)算注意力權(quán)重，最后將各個(gè)子空間的結(jié)果拼接起來。這樣做的好處是模型可以在不同的表示子空間中捕獲到不同的上下文信息。

案例對(duì)比：在“我愛AI”例子中，Self-Attention計(jì)算每個(gè)詞與其他詞的關(guān)聯(lián)權(quán)重，而Multi-Head Attention則通過拆分嵌入空間并在多個(gè)子空間中并行計(jì)算這些權(quán)重，使模型能夠捕獲更豐富的上下文信息。

Self-Attention(自注意力機(jī)制)：

輸入：序列“我愛AI”經(jīng)過嵌入層，每個(gè)詞（如“我”）被映射到一個(gè)512維的向量。
注意力權(quán)重計(jì)算：
- 對(duì)于“我”這個(gè)詞，Self-Attention機(jī)制會(huì)計(jì)算它與序列中其他所有詞（“愛”、“A”、“I”）之間的注意力權(quán)重。
- 這意味著，對(duì)于“我”的512維嵌入向量，我們會(huì)計(jì)算它與“愛”、“A”、“I”的嵌入向量之間的注意力得分。
輸出：根據(jù)計(jì)算出的注意力權(quán)重，對(duì)輸入序列中的詞向量進(jìn)行加權(quán)求和，得到自注意力機(jī)制處理后的輸出向量。

Multi-Head Attention (多頭注意力機(jī)制)：

子空間拆分：
- 原始的512維嵌入空間被拆分成多個(gè)子空間（例如，8個(gè)頭，則每個(gè)子空間64維）。
- 對(duì)于“我”這個(gè)詞，其512維嵌入向量被相應(yīng)地拆分成8個(gè)64維的子向量。
獨(dú)立注意力權(quán)重計(jì)算：
- 在每個(gè)64維的子空間內(nèi)，獨(dú)立地計(jì)算“我”與“愛”、“A”、“I”之間的注意力權(quán)重。
- 這意味著在每個(gè)子空間中，我們都有一套獨(dú)立的注意力得分來計(jì)算加權(quán)求和。
結(jié)果拼接與轉(zhuǎn)換：
- 將每個(gè)子空間計(jì)算得到的注意力輸出拼接起來，形成一個(gè)更大的向量（在這個(gè)例子中是8個(gè)64維向量拼接成的512維向量）。
- 通過一個(gè)線性層，將這個(gè)拼接后的向量轉(zhuǎn)換回原始的512維空間，得到Multi-Head Attention的最終輸出。