鍵.png)
使用這些基本 REST API 最佳實踐構(gòu)建出色的 API
圖1 圖大模型所需特征圖示
縮放定律表明，大語言模型（LLM）的性能隨著模型大小、數(shù)據(jù)集大小和訓(xùn)練計算量的增加而持續(xù)優(yōu)化。這為提升模型捕捉圖數(shù)據(jù)中復(fù)雜模式和關(guān)系的能力提供了方向。圖大模型有望展現(xiàn)出較小模型所缺乏的新興能力，但實現(xiàn)這一目標(biāo)面臨諸多困難，包括收集更多圖數(shù)據(jù)、解決技術(shù)難題（如解決圖神經(jīng)網(wǎng)絡(luò)的過平滑和過壓縮問題）以及工程和系統(tǒng)挑戰(zhàn)。
圖大模型在處理跨不同領(lǐng)域的不同圖任務(wù)時具有更大價值，需要理解圖的內(nèi)在結(jié)構(gòu)和屬性。圖預(yù)訓(xùn)練范式是開發(fā)圖基礎(chǔ)模型的有前途途徑，可以減少對標(biāo)簽收集的依賴，并賦予模型生成圖形的能力，為藥物合成、代碼建模和網(wǎng)絡(luò)進化分析等應(yīng)用提供可能性。然而，為所有圖領(lǐng)域開發(fā)“通用圖模型”極具挑戰(zhàn)性，可能需要為不同“領(lǐng)域集群”開發(fā)多個圖基礎(chǔ)模型。
有效的圖大模型可理解圖上下文，包括節(jié)點、邊、子圖和整個圖，并能處理新穎的圖數(shù)據(jù)集和任務(wù)，無需密集的模型修改。這種能力與少樣本/零樣本圖學(xué)習(xí)、多任務(wù)圖學(xué)習(xí)和圖分布外泛化能力密切相關(guān)，可促進這些能力。當(dāng)訓(xùn)練和測試階段的輸入圖數(shù)據(jù)和任務(wù)不同時，上下文學(xué)習(xí)能力至關(guān)重要，可使圖大模型利用預(yù)訓(xùn)練知識，快速適應(yīng)測試階段并獲得所需性能。
圖推理是處理圖任務(wù)的常見方法，但具體任務(wù)沒有明確共識。包括分析拓?fù)鋵傩裕ㄒ?guī)模、節(jié)點度、連通性），多跳鄰域推理（靈活明確），處理全局屬性和模式（節(jié)點中心性、位置、整體屬性、動態(tài)圖演化）。
大語言模型（LLM）作為基礎(chǔ)模型，可以適應(yīng)廣泛的下游任務(wù)，因為它們共享一個通用的表示基礎(chǔ)。然而，圖數(shù)據(jù)可能不總是最適合處理所有圖數(shù)據(jù)的表示基礎(chǔ)。人們普遍認(rèn)為，存在更多高級或抽象的常見圖模式，可以在特定領(lǐng)域內(nèi)的不同圖和任務(wù)之間共享。盡管有了這些高級共享知識，創(chuàng)建能夠在不同圖領(lǐng)域表現(xiàn)良好的有效大模型仍然具有挑戰(zhàn)性。
大模型具備與人類互動并遵循指令的能力，但人類處理圖表能力較差。為使大模型行為符合人類期望，特別是在自然語言情況下，我們總結(jié)了三種值得探索的策略以實現(xiàn)自然語言與圖模型的交互。第一種是通過對齊圖和文本的表征空間，但數(shù)據(jù)收集更具挑戰(zhàn)性。第二種是將圖轉(zhuǎn)化為自然語言，但可能會丟失圖的內(nèi)部結(jié)構(gòu)。第三種是通過其它表征空間作為橋梁，例如設(shè)計合適的算法來解決圖任務(wù)，并理解和控制圖學(xué)習(xí)模型的運行狀態(tài)。已有一些努力，稱為算法推理（algorithmic reasoning），具有巨大潛力。
大模型的成功依賴于大規(guī)模高質(zhì)量數(shù)據(jù)集，例如GPT-3在5000億個token的語料庫上預(yù)訓(xùn)練，而CLIP在4億個圖像文本對上訓(xùn)練。NLP和CV的大量數(shù)據(jù)來自公開的人類生成內(nèi)容，如網(wǎng)頁或社交媒體照片。大規(guī)模圖形數(shù)據(jù)不易訪問，通常有兩種場景：大量小規(guī)模圖和單個/幾個大規(guī)模圖。Open Graph Benchmark是最具代表性的圖機器學(xué)習(xí)公共基準(zhǔn)之一，包含兩個大型圖數(shù)據(jù)集，但規(guī)模遠低于NLP或CV中使用的數(shù)據(jù)集。創(chuàng)建更專業(yè)的圖學(xué)習(xí)基準(zhǔn)可以進一步促進圖大模型的進展。
以下為收集更多圖數(shù)據(jù)時有用的原則：
綜上，圖大模型的開發(fā)高度依賴高質(zhì)量圖數(shù)據(jù)，收集難度大且成本高。因此社區(qū)的全員協(xié)作可能是推動這一進程的關(guān)鍵因素。
圖神經(jīng)網(wǎng)絡(luò)（GNN）和Graph Transformer是兩種最主流的圖深度學(xué)習(xí)架構(gòu)。GNN采用消息傳遞范式，已廣泛研究，但模型容量有限。圖Transformer擴展了Transformer，以適應(yīng)圖數(shù)據(jù)，最成功的例子是Graphormer，在OGB大規(guī)模挑戰(zhàn)賽中排名第一。GNN和圖Transformer之間的主要區(qū)別在于結(jié)構(gòu)編碼策略和自注意力機制。具體可以從以下4個方面進行對比：
GNN和圖Transformer在圖大模型中取得了顯著進展，考慮到現(xiàn)有圖數(shù)據(jù)集的規(guī)模，GNN仍然是一個強大的架構(gòu)模型，但隨著訓(xùn)練圖數(shù)據(jù)集規(guī)模的不斷增加，圖Transformer可能會通過增加參數(shù)數(shù)量變得更加強大，并逐漸成為主流方法。
圖預(yù)訓(xùn)練是NLP中一種在特定任務(wù)前訓(xùn)練模型的方法，目的是捕獲數(shù)據(jù)中的一般模式或知識。它包括對比方法和預(yù)測/生成方法，利用圖中結(jié)構(gòu)和語義信息引入借口學(xué)習(xí)任務(wù)，訓(xùn)練模型學(xué)習(xí)節(jié)點、邊緣或圖級表示，無需依賴標(biāo)簽。圖預(yù)訓(xùn)練被認(rèn)為是圖大模型的基本范例。
可以用“四-E”原則總結(jié)圖預(yù)訓(xùn)練：
LLMs需要后處理增強對下游任務(wù)的適應(yīng)能力，代表性的后處理技術(shù)包括提示、高效參數(shù)微調(diào)、利用人類反饋的強化學(xué)習(xí)以及模型壓縮。
提示最初用于指導(dǎo)語言模型生成下游任務(wù)內(nèi)容。語言提示和上下文學(xué)習(xí)模板在LLMs中表現(xiàn)出顯著效果，圖形提示通過有限標(biāo)簽增強任務(wù)性能。GPPT和GraphPrompt將圖任務(wù)統(tǒng)一為邊緣預(yù)測，ProG采用元學(xué)習(xí)來學(xué)習(xí)不同任務(wù)的提示。
高效參數(shù)微調(diào)是一種僅優(yōu)化部分模型參數(shù)的技術(shù)，有助于模型適應(yīng)新任務(wù)而不遺忘預(yù)訓(xùn)練知識，同時保留一般能力和特定任務(wù)適應(yīng)性。圖高效參數(shù)微調(diào)近期受到關(guān)注，如AdapterGNN和G-Adapter，通過合并適配器調(diào)整GNN，減少可調(diào)整參數(shù)數(shù)量，保持精度。S2PGNN提出搜索架構(gòu)修改以提高微調(diào)階段的適應(yīng)性。
模型壓縮通過知識蒸餾、剪枝和量化等技術(shù)減少模型內(nèi)存和計算需求，在資源受限環(huán)境中部署大模型時特別有價值。量化在LLMs中廣受歡迎，訓(xùn)練后量化（PTQ）無需重新訓(xùn)練。SGQuant探索了圖學(xué)習(xí)中的PTQ，提出了多粒度量化技術(shù)。其他方法如Degree-Quant、BiFeat、Tango、VQGraph、A2Q和AdaQP采用量化感知訓(xùn)練方案，在后處理階段獨立使用。
最近的研究探索了利用LLMs解決圖形任務(wù)的潛力。其基本思想是將圖數(shù)據(jù)轉(zhuǎn)換為自然語言表示，將圖問題視為常規(guī)NLP問題。NLGraph評估了GPT-3和GPT-4等LLM在八個自然語言圖推理任務(wù)的表現(xiàn)，發(fā)現(xiàn)法學(xué)碩士在處理更復(fù)雜的圖形問題時困難，可能捕獲虛假相關(guān)性。同時，GPT4Graph評估了LLM在十個不同任務(wù)中的圖理解能力，揭示了LLM在圖推理方面的局限性，強調(diào)增強結(jié)構(gòu)理解能力。LLMtoGraph測試了GPT-3.5和GPT-4對各種圖形任務(wù)的表現(xiàn)，并做出了一些有趣的觀察。
Graph-LLM 通過兩種策略研究了 LLM 在文本屬性圖中的利用，包括 LLM-as-Enhancers 和 LLM-as-Predictor。InstructGLM 引入了可擴展的提示，以描述 LLM 指令調(diào)整的圖結(jié)構(gòu)和特征。實驗證明了采用 LLM 進行圖機器學(xué)習(xí)的巨大潛力。
表 1總結(jié)了與 LLM 相關(guān)的不同模型的圖模型（文末可獲取原論文）
推薦系統(tǒng)中的圖數(shù)據(jù)可以包括用戶和物品的互動，如點擊、購買、評論等?，F(xiàn)有語言大模型主要關(guān)注語義信息，而利用圖的結(jié)構(gòu)信息可以提高推薦效果。然而，推薦系統(tǒng)中的圖通常是多模態(tài)的，包括文本、圖像、交互等多種數(shù)據(jù)。由于多模態(tài)大模型尚未成熟，需要付出巨大努力來開發(fā)有效的圖大模型以用于推薦系統(tǒng)。
知識圖譜廣泛應(yīng)用于存儲和利用人類知識，大型語言模型被用于各種知識圖譜任務(wù)。然而，現(xiàn)有方法主要關(guān)注文本信息，未充分挖掘知識圖譜的結(jié)構(gòu)和關(guān)系信息。圖大模型結(jié)合大型語言模型，有望進一步推動知識圖譜的研究和應(yīng)用。
構(gòu)建有效的分子圖模型可以推動分子性質(zhì)預(yù)測和模擬，有利于藥物發(fā)現(xiàn)。一些LLM變體使用SMILES將分子轉(zhuǎn)化為字符串，但圖作為更自然的表示方式具有建模優(yōu)勢。針對分子開發(fā)了許多基于圖的預(yù)訓(xùn)練技術(shù)，包括多模態(tài)策略。收集分子數(shù)據(jù)相對容易，因此期待基于圖或增強的分子建模大模型。
圖機器學(xué)習(xí)在金融領(lǐng)域具有廣泛應(yīng)用，如股票走勢預(yù)測和貸款風(fēng)險預(yù)測。圖大模型在金融領(lǐng)域具有巨大潛力，但金融數(shù)據(jù)的敏感性和私密性限制了模型的開源和民主化。需要推動開源倡議和民主化，以充分發(fā)揮圖大模型在金融領(lǐng)域的潛力。
大語言模型如CodeX、AlphaCode和GPT-4具備理解和生成代碼的能力，可從GitHub等平臺獲取大量代碼數(shù)據(jù)。圖提供了表示代碼結(jié)構(gòu)的方式，整合圖可提高大型語言模型的表現(xiàn)，在編程領(lǐng)域產(chǎn)生重大影響，具有廣泛的應(yīng)用價值，包括代碼補全和生成、代碼搜索、代碼審查、程序分析和測試等。
圖機器學(xué)習(xí)在城市計算和交通等領(lǐng)域有廣泛應(yīng)用，如交通預(yù)測、城市規(guī)劃和管理、犯罪預(yù)測等。雖然已有基于大語言模型的大模型用于城市計算和交通，但主要關(guān)注自然語言相關(guān)應(yīng)用。為更廣泛利用，需要開發(fā)圖大模型，其技術(shù)挑戰(zhàn)在于捕捉動態(tài)圖數(shù)據(jù)和復(fù)雜空間-時間模式。
圖機器學(xué)習(xí)已在多個領(lǐng)域廣泛應(yīng)用，包括工業(yè)（故障診斷、物聯(lián)網(wǎng)、電力系統(tǒng)、時間序列分析）和科學(xué)（物理學(xué)、組合優(yōu)化、材料科學(xué)、神經(jīng)科學(xué)）。探索圖大模型具有巨大潛力。
《 Graph Meets LLMs：Towards Large Graph Models》
文章轉(zhuǎn)自微信公眾號@算法進階