鍵.png)
使用這些基本 REST API 最佳實(shí)踐構(gòu)建出色的 API
GNN簡(jiǎn)介：
論文《Graph neural networks: A review of methods and applications》
GNN是一類用于處理圖數(shù)據(jù)的深度學(xué)習(xí)模型，能夠捕捉節(jié)點(diǎn)間的依賴關(guān)系。它們?cè)诙鄠€(gè)領(lǐng)域表現(xiàn)出色，如社交網(wǎng)絡(luò)分析、物理系統(tǒng)建模、蛋白質(zhì)接口預(yù)測(cè)和疾病分類。
GNN的設(shè)計(jì)流程：
圖神經(jīng)網(wǎng)絡(luò)（GNN）設(shè)計(jì)流程分為4步，包括找到圖結(jié)構(gòu)、指定圖類型和規(guī)模、設(shè)計(jì)損失函數(shù)以及使用計(jì)算模塊構(gòu)建模型。
具體設(shè)計(jì)流程如下：
GNN的核心模塊：
在圖神經(jīng)網(wǎng)絡(luò)（GNN）中，計(jì)算模塊是模型的核心，它定義了節(jié)點(diǎn)之間信息的傳遞和聚合方式。
在圖神經(jīng)網(wǎng)絡(luò)（GNN）中，關(guān)鍵的計(jì)算模塊包括：
詳細(xì)了解圖神經(jīng)網(wǎng)絡(luò)GNN：神經(jīng)網(wǎng)絡(luò)算法 – 一文搞懂GNN（圖神經(jīng)網(wǎng)絡(luò)）
Transformer是一種基于自注意力機(jī)制的深度學(xué)習(xí)模型，最初是為了解決自然語言處理中的序列到序列（sequence-to-sequence）問題而設(shè)計(jì)的。
Transformer簡(jiǎn)介：論文《Attention Is All You Need》
由于Transformer強(qiáng)大的性能，Transformer模型及其變體已經(jīng)被廣泛應(yīng)用于各種自然語言處理任務(wù)，如機(jī)器翻譯、文本摘要、問答系統(tǒng)等。
注意力機(jī)制：注意力機(jī)制是一種允許模型在處理信息時(shí)專注于關(guān)鍵部分，忽略不相關(guān)信息，從而提高處理效率和準(zhǔn)確性的機(jī)制。它模仿了人類視覺處理信息時(shí)選擇性關(guān)注的特點(diǎn)。
當(dāng)人類的視覺機(jī)制識(shí)別一個(gè)場(chǎng)景時(shí)，通常不會(huì)全面掃描整個(gè)場(chǎng)景，而是根據(jù)興趣或需求集中關(guān)注特定的部分，如在這張圖中，我們首先會(huì)注意到動(dòng)物的臉部，正如注意力圖所示，顏色更深的區(qū)域通常是我們最先注意到的部分，從而初步判斷這可能是一只狼。
注意力機(jī)制通過查詢（Q）匹配鍵（K）計(jì)算注意力分?jǐn)?shù)（向量點(diǎn)乘并調(diào)整），將分?jǐn)?shù)轉(zhuǎn)換為權(quán)重后加權(quán)值（V）矩陣，得到最終注意力向量。
注意力分?jǐn)?shù)是量化注意力機(jī)制中某一部分信息被關(guān)注程度的數(shù)值，反映了信息在注意力機(jī)制中的重要性。
在Transformer架構(gòu)中，有3種不同的注意力層：
詳細(xì)了解Transformer中的三種注意力機(jī)制：神經(jīng)網(wǎng)絡(luò)算法 – 一文搞懂Transformer中的三種注意力機(jī)制Transformer的核心組件：Transformer模型包含輸入嵌入、位置編碼、多頭注意力、殘差連接和層歸一化、帶掩碼的多頭注意力以及前饋網(wǎng)絡(luò)等組件。
Transformer的架構(gòu)：
Transformer遵循編碼器-解碼器總體架構(gòu)，使用堆疊的自注意力機(jī)制和逐位置的全連接層，分別用于編碼器和解碼器，如圖中的左半部分和右半部分所示。
Encoder編碼器：Transformer的編碼器由6個(gè)相同的層組成，每個(gè)層包括兩個(gè)子層：一個(gè)多頭自注意力層和一個(gè)逐位置的前饋神經(jīng)網(wǎng)絡(luò)。在每個(gè)子層之后，都會(huì)使用殘差連接和層歸一化操作，這些操作統(tǒng)稱為Add&Norm。這樣的結(jié)構(gòu)幫助編碼器捕獲輸入序列中所有位置的依賴關(guān)系。
Decoder解碼器：Transformer的解碼器由6個(gè)相同的層組成，每層包含三個(gè)子層：掩蔽自注意力層、Encoder-Decoder注意力層和逐位置的前饋神經(jīng)網(wǎng)絡(luò)。每個(gè)子層后都有殘差連接和層歸一化操作，簡(jiǎn)稱Add&Norm。這樣的結(jié)構(gòu)確保解碼器在生成序列時(shí)，能夠考慮到之前的輸出，并避免未來信息的影響。
編碼器與解碼器的本質(zhì)區(qū)別：在于Self-Attention的Mask機(jī)制。
詳細(xì)了解Transformer：神經(jīng)網(wǎng)絡(luò)算法 – 一文搞懂Transformer
圖神經(jīng)網(wǎng)絡(luò)（GNN）和Transformer的結(jié)合是近年來的研究熱點(diǎn)。這類結(jié)合不僅能夠讓兩者發(fā)揮各自的優(yōu)勢(shì)，還能推動(dòng)模型的創(chuàng)新，提高處理圖數(shù)據(jù)的效率和性能。
具體點(diǎn)講，通過利用Transformer，我們可以擴(kuò)展GNN的感受野，包括那些距離中心節(jié)點(diǎn)較遠(yuǎn)的相關(guān)節(jié)點(diǎn)。相對(duì)的，GNN也可以幫助Transformer捕捉復(fù)雜的圖拓?fù)湫畔ⅲ南噜弲^(qū)域高效地聚合相關(guān)節(jié)點(diǎn)。
Transformer的局限：
盡管 Transformer 在自然語言處理和計(jì)算機(jī)視覺方面取得了巨大成功，但由于兩個(gè)重要原因，它很難推廣到中大規(guī)模圖數(shù)據(jù)。
GNN的局限：
在圖表示學(xué)習(xí)中，圖神經(jīng)網(wǎng)絡(luò)（GNN）可以融合圖結(jié)構(gòu)和節(jié)點(diǎn)屬性，但感受野有限。
TransGNN：
是否可以將 Transformer 和 GNN 結(jié)合起來，互相幫助？論文《Can Transformer and GNN Help Each Other?》提出了一種名為 TransGNN 的新模型，其中 Transformer 層和 GNN 層交替使用以相互改進(jìn)。
具體來說，為了擴(kuò)大感受野并解開邊的信息聚合，論文建議使用 Transformer 聚合更多相關(guān)節(jié)點(diǎn)的信息，以改善 GNN 的消息傳遞。此外，為了捕獲圖結(jié)構(gòu)信息，使用位置編碼并利用GNN層將結(jié)構(gòu)融合為節(jié)點(diǎn)屬性，從而改進(jìn)了圖數(shù)據(jù)中的Transformer。
TransGNN的架構(gòu)圖：
TransGNN 的框架如圖所示：
TransGNN的核心模塊：
TransGNN框架是一個(gè)結(jié)合了注意力機(jī)制、位置編碼和圖神經(jīng)網(wǎng)絡(luò)（GNN）的深度學(xué)習(xí)模型。該框架主要包括三個(gè)核心模塊：
TransGNN Module：
Transformer擅長(zhǎng)聚合遠(yuǎn)距離的相關(guān)信息，而GNN則擅長(zhǎng)捕捉圖的結(jié)構(gòu)信息。結(jié)合這兩個(gè)機(jī)制，可以構(gòu)建出一個(gè)更強(qiáng)大、更全面的圖神經(jīng)網(wǎng)絡(luò)模型。
以下是TransGNN模塊的三個(gè)核心子模塊的概述：
推薦系統(tǒng)的重要性：
推薦系統(tǒng)在現(xiàn)代在線平臺(tái)中至關(guān)重要，因?yàn)樗鼈冇行Ы鉀Q了信息過載的問題，通過為用戶推薦有用的內(nèi)容提高了用戶體驗(yàn)。協(xié)同過濾（CF）與用戶和項(xiàng)目信息編碼：協(xié)同過濾是推薦系統(tǒng)的核心方法之一，其中對(duì)用戶和項(xiàng)目信息的有效編碼對(duì)于準(zhǔn)確推斷用戶偏好至關(guān)重要。近年來，用于建模圖結(jié)構(gòu)數(shù)據(jù)的圖神經(jīng)網(wǎng)絡(luò)（GNN）的發(fā)展迅速增多。一個(gè)有前途的方向是沿著用戶-項(xiàng)目交互執(zhí)行信息傳播，以基于遞歸聚合模式完善用戶嵌入。
圖神經(jīng)網(wǎng)絡(luò)（GNN）的挑戰(zhàn)：
通過將GNN和Transformer結(jié)合，可以充分利用兩者的優(yōu)勢(shì)，同時(shí)彌補(bǔ)各自的不足，從而構(gòu)建更強(qiáng)大、更全面的推薦系統(tǒng)模型。這種結(jié)合可以擴(kuò)展GNN的感受野，同時(shí)利用Transformer的全局聚合能力來捕獲長(zhǎng)期依賴關(guān)系。TransGNN論文論文《TransGNN: Harnessing the Collaborative Power of Transformers?and Graph Neural Networks for Recommender Systems》
TransGNN論文架構(gòu)：
TransGNN被應(yīng)用于多個(gè)推薦系統(tǒng)數(shù)據(jù)集，并與其他先進(jìn)的推薦算法進(jìn)行了比較。以下是一些具體的案例和數(shù)據(jù)結(jié)果：
數(shù)據(jù)集：
研究團(tuán)隊(duì)在五個(gè)公共數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，這些數(shù)據(jù)集涵蓋了不同的推薦場(chǎng)景，如電影推薦、商品推薦等。這些數(shù)據(jù)集包含了豐富的用戶-項(xiàng)目交互信息，以及項(xiàng)目的內(nèi)容信息和圖結(jié)構(gòu)信息。
實(shí)驗(yàn)設(shè)置：
為了驗(yàn)證TransGNN的有效性，研究團(tuán)隊(duì)將TransGNN與多個(gè)基線模型進(jìn)行了比較，包括基于GNN的模型（如GCN、GraphSAGE）和基于Transformer的模型（如Transformer-Rec）。此外，還考慮了其他先進(jìn)的推薦算法，如矩陣分解（MF）和深度神經(jīng)網(wǎng)絡(luò)（DNN）。
實(shí)驗(yàn)結(jié)果：
文章轉(zhuǎn)自微信公眾號(hào)@架構(gòu)師帶你玩轉(zhuǎn)AI
對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力
一鍵對(duì)比試用API 限時(shí)免費(fèi)