使用這些基本 REST API 最佳實踐構建出色的 API
圖1 幾何圖神經網絡與傳統方法在分子性質預測、蛋白質-配體對接和抗體設計方面的性能比較。
圖2 數據結構、模型到應用的全流程示例
我們定義了對稱性來描述一個對象在一定變換下保持不變的情況。例如，空間中兩點間的距離無論我們如何旋轉或移動都保持不變。在數學上，這些變換可以構成一個群，詳見[58]。
群G是一個具有二元運算“·”的變換集合，滿足封閉性、結合性、存在單位元e和每個元素都有逆元等性質。歐幾里得群E(d)由旋轉、反射和位移構成，作用于d維向量上。歐幾里得群的子群T(d)由位移構成。仿射群O(d)由旋轉和反射構成，作用于d維向量上。特殊仿射群SO(d)只由旋轉構成。特殊歐幾里得群SE(d)只由旋轉和位移構成。Lie群是元素構成可微流形的群，上述所有群都是Lie群的特定例子。置換群SN的元素是對給定集合N個元素的置換。
群運算“·”可以通過群表示實現為矩陣乘法。群同態ρ(g):G→GL(V)將群元素g映射到一般線性群，滿足ρ(g)ρ(h)=ρ(g·h)。當V=Rd時，GL(V)包含所有可逆的d×d矩陣，ρ(g)將一個矩陣分配給元素g。對于歐幾里得群O(d)，其群表示由歐幾里得矩陣O∈Rd×d定義，滿足O?O=I；對于SO(d)，群表示被限制為行列式為1的歐幾里得矩陣，記為R。翻譯群T(d)的情況稍微繁瑣，可以通過仿射空間使用齊次坐標來推導。需要注意的是，群的表示不是唯一的。
G-同態是指函數?：X→Y，當對輸入進行任何變換時，輸出也會通過相同的變換或可預測的行為而改變。形式上，?(g·x)=g·?(x)，?g∈G。等方差是G-同態的一種特殊情況，?(ρX(g)x)=ρY(g)?(x)，?g∈G，其中ρX和ρY分別是輸入和輸出空間中的群表示。等方差具有線性性、可組合性和繼承性等特點。在網絡中，每個層的等方差意味著整個網絡是同態的。在幾何圖的變換中，函數?被設計為不變/同態的GNN。
本節定義了圖和幾何圖，并比較了它們的差異。表1列出了本文中使用的符號。表1 本調查中使用的各種基本符號和定義
傳統上，圖的研究主要關注其拓撲關系，如社交網絡、引文網絡等。在AI驅動的藥物設計領域，這些圖被稱為2D圖。圖被定義為G=(A,H)，其中A是鄰接矩陣，表示節點間關系；H是節點特征矩陣，表示節點屬性。圖還包括節點集合V和邊集合E，節點i的鄰居是與其直接相連的節點集合。圖還可以包含邊特征，表示邊的屬性。圖變換可以改變節點的順序而不改變圖的拓撲結構，這種變換被稱為置換變換。在置換變換下，兩個圖是等價的，當且僅當它們可以通過置換變換相互轉換。分子可以被視為圖，其中節點表示原子，節點特征表示原子類型，邊表示化學鍵的存在或基于原子間距離的截止閾值構建，邊特征可以表示化學鍵類型和/或相對距離。
幾何圖形定義為：?G := (A, H, ?X)，其中A∈[0,1]N×N是鄰接矩陣，H∈RN×C是節點特征矩陣，維度為C，?X∈RN×3是所有節點的三維坐標。幾何圖形的變換包括置換、正交變換（旋轉和反射）和平移。置換定義為g · ?G := (PgAPg ?, PgH, Pg ?X)，正交變換定義為g · ?G := (A, H, ?XOg)，平移定義為g · ?G := (A, H, ?X + ?tg)。歐幾里得群E(3)是正交變換和平移的半直積，表示為E(3) = T(3) ? O(3)。幾何圖形是用于在科學任務中建模各種對象的強大而通用的工具，包括小分子、蛋白質、晶體、物理點云等以及許多其他對象。
圖3 幾何圖形上的變換示例
在這部分，我們將首先回顧拓撲圖上的消息傳遞神經網絡（MPNN）的一般形式。接著，介紹能夠處理幾何圖的三種不同類型的幾何GNN：不變GNN、同態GNN以及幾何圖變換器。最后，簡要介紹有關幾何GNN表達能力的相關工作。圖4展示了本部分中幾何GNN的分類。
圖4 ?第4節中介紹的幾何GNN分類學表2 不變性圖神經網絡、基于標量化的圖神經網絡和高階可導向圖神經網絡的代表性模型示意圖
圖神經網絡（GNNs）通過消息傳遞機制在圖的幫助下進行操作，更新節點的嵌入以實現信息沿著圖結構的傳播。具體來說，消息傳遞GNNs通過在每個層中迭代以下消息傳遞過程來實現拓撲圖G上的?(G)。
節點特征hi、hj和邊特征eij首先由消息函數合成以獲得消息mij。然后，鄰居中的消息通過一組函數進行聚合，并與輸入hi結合，用于更新節點特征h’i。由等式(3)和(4)定義的GNNs總是排列同態但并不具有內在的E(3)-同態性。
幾何域中存在許多需要提出的模型來處理歐幾里得變換不變的任務，如分子屬性預測。不變圖神經網絡通過更新不變特征H’ = ?(G)來處理這些問題，其中函數?滿足歐幾里得變換不變性
早期的不變圖神經網絡包括DTNN、MPNN和MV-GNN，它們使用相對距離進行邊構造。近年來，不變圖神經網絡在消息傳遞機制上進一步發展，從相對距離擴展到邊之間的角度或二面角等不變標量。其中，SchNet使用連續濾波器卷積條件于相對距離，DimeNet提出了方向性消息傳遞，GemNet進一步考慮了旋轉角，而LieConv則是一種在節點特征更新時保持幾何向量不變的圖神經網絡模型。這些模型的設計都是為了嵌入歐幾里得變換不變的歸納偏置，以更好地處理幾何域中的任務。
等變圖神經網絡（equivariant GNNs）同時更新不變特征和同態特征，適用于需要同態輸出的實際任務。等變GNNs將幾何圖上的函數設計為滿足特定條件，通過信息傳遞推導出幾何消息，并在圖由連通性或鄰接矩陣指定的鄰域內進行聚合，考慮輸入特征進行更新。目前實現等變GNNs的具體形式有不同的方法，分為標量化模型和高階可調模型。
4.3.1 基于標量化的模型
基于標量化的模型是指將 3D 坐標轉換為不變標量，類似于不變 GNN 的設計，但通過進一步恢復處理標量的方向來更新等變特征，從而改進不變 GNN。這種方法首先將相對距離用于不變消息的更新，然后乘以相對坐標以獲得方向消息。這種方法可以視為 SchNet 和 Radial Field 的擴展，并且可以視為等變 GNN 的增強。這類模型包括 EGNN、GMN、PaiNN 和 Local Frames 等。
4.3.2 高階可調模型
高階可調模型是指在等變 GNN 中，通過使用更高階的旋轉表示來擴展等變 GNN 的能力。這種方法使用 Wigner-D 矩陣將 3D 旋轉轉換為群表示的不同階數，使用球諧函數將 3D 向量轉換為不同類型的可操縱特征，并使用 Clebsch-Gordan 張量積執行等變映射。這種方法可以擴展等變 GNN 的能力，使其能夠處理更復雜的幾何圖形。這種方法在 TFN、SEGNN、Cormorant、NequlP、SCN、eSCN、MACE、Allegro、Graphormer、TorchMD-Net、SE(3)-Transformer、LieTransformer、GVP-Transformer、Equiformer、EquiformerV2、Geoformer 和 EPT 等模型中得到了應用。
幾何圖Transformers，是一種創新的方法，它將Transformer架構巧妙地應用于幾何圖形數據的處理中，從而能夠應對更為復雜的幾何數據挑戰。該方法在Graphormer、TorchMD-Net、SE(3)-Transformer、LieTransformer、GVP-Transformer、Equiformer、EquiformerV2、Geoformer和EPT等模型中得到了廣泛應用，這些模型在各自領域內展現出了出色的性能和潛力。
在機器學習中，衡量網絡表達性的一個重要標準是其是否具有通用近似性質。在幾何圖學習任務中，人們進行了初步嘗試，探索了各種GNN的表達性差異。最近，GWL框架從區分幾何圖的角度定義了幾何版本的Weisfeiler-Lehman測試，并證實了共變GNN相對于不變GNN具有優勢。此外，一些作品還研究了標量化的模型表達性，證實了標量化方法可以普遍近似向量中的任何不變/共變函數。這些研究有助于理解網絡表達性的重要性，并促進機器學習在幾何圖領域的應用發展。
本部分回顧了與幾何圖學習相關的應用，根據系統類型對現有方法進行了分類，涵蓋顆粒、分子、蛋白質等任務，如表3所示。表4和表5總結了單實例和多實例任務數據集。重點討論了利用幾何GNNs的方法，但其他方法如基于序列的方法也適用。表3 各種幾何GN的任務概括。生成任務指的是可以通過生成模型解決的那些任務，否則被稱為非生成任務。可以用生成模型或非生成模型解決的那些任務被稱為混合任務。
表4 單實例應用典型數據集和基準的總結
表5 針對多實例應用所采用的典型數據集和基準的總結。
粒子領域的應用。粒子通常被表示為一個幾何圖，其中粒子坐標作為節點位置，鍵作為邊，粒子類型或粒子的其他屬性作為節點特征。幾何圖神經網絡被廣泛應用于描述一般物理動力學的過程，例如N-body模擬，該模擬最初由[133]提出，旨在模擬由N個相互作用的粒子組成的原型系統的動力學。雖然它是在理想條件下構建的，但N-body系統能夠表示從量子物理學到天文學的各種物理現象，通過容納不同的相互作用。其他例子包括涉及更復雜對象的物理場景的模擬，包括流體、剛體、可變形體和人體運動
分子領域的應用。分子通常被表示為一個幾何圖，其中原子坐標作為節點位置，鍵作為邊，原子類型或原子的其他屬性作為節點特征。幾何圖神經網絡被廣泛應用于分子性質預測、分子動力學模擬、分子生成和分子預訓練等任務。
蛋白質領域的任務。蛋白質是由一個或多個長鏈氨基酸組成的大分子，具有獨特的三維結構，這些結構決定了蛋白質在生物過程中的功能和活性。由于蛋白質具有層次結構，因此有兩種不同的方法來利用幾何圖 G 來表示蛋白質。一種是將每個殘基視為一個節點，將 a- 碳的位置作為坐標矩陣 X 和殘基級別特征作為 H。另一種方法是采用全原子設置，將每個原子視為一個節點，將所有原子的位置作為 X 和原子級別特征作為 H。在兩種方法中，邊緣連接可以通過化學鍵或截斷距離創建。本節主要介紹與蛋白質相關的幾個任務，包括蛋白質性質預測、蛋白質生成、蛋白質預訓練、蛋白質-蛋白質界面預測、蛋白質-蛋白質對接、口袋基分子采樣、蛋白質-蛋白質對接、抗體設計和肽設計等。
分子與分子之間的任務，包括連接器設計和化學反應。連接器設計需要預測連接兩個或多個分子片段的小分子，這些小分子可以保持多結構域蛋白質或融合蛋白質的正確方向、靈活性和穩定性。化學反應任務需要預測分子之間的反應產物。
分子與蛋白質之間的任務，包括配體結合親和力預測、蛋白質-配體對接和口袋基分子采樣。配體結合親和力預測任務旨在估計蛋白質（受體）和小分子（配體）之間的相互作用強度。蛋白質-配體對接任務旨在預測蛋白質和配體之間的相對位置和取向。口袋基分子采樣任務旨在從蛋白質的活性位點生成小分子。這些任務的輸入都是分子和蛋白質的幾何圖，輸出是預測的分子或蛋白質的幾何圖。這些任務的對稱性保持和預測函數都是基于幾何圖神經網絡的。
蛋白質-蛋白質相互作用的任務，包括蛋白質界面預測、結合親和力預測、蛋白質-蛋白質對接、抗體設計和肽設計。蛋白質界面預測任務需要識別蛋白質表面可能參與與其他蛋白質相互作用的區域。結合親和力預測任務需要學習預測蛋白質對之間結合強度的預測函數。蛋白質-蛋白質對接任務需要預測蛋白質之間的相對位置和取向。抗體設計任務需要考慮抗體和抗原之間的相互作用。肽設計任務需要考慮肽和蛋白質之間的相互作用。這些任務的輸入都是蛋白質的幾何圖，輸出是預測的蛋白質的幾何圖。這些任務的對稱性保持和預測函數都是基于幾何圖神經網絡的。
其他領域的任務，包括晶體性質預測和RNA。晶體性質預測任務需要預測晶體結構的性質，晶體結構由其重復單元表示，重復單元由坐標矩陣和特征矩陣表示。晶體結構具有周期性，因此需要使用幾何圖神經網絡來捕捉這種周期性。對稱性保持要求輸出對坐標和晶格具有不變性，對坐標具有周期性平移不變性，對晶格具有單元選擇不變性。數據集包括Materials Project和JARVIS-DFT數據庫。RNA任務需要預測RNA的二級結構，RNA的二級結構由堿基配對表示。對稱性保持要求輸出對坐標具有不變性。數據集包括ViennaRNA和RNA-Puzzles數據庫。
盡管在幾何圖譜領域已有顯著進展，但仍有許多未解決的問題值得研究。其中，幾何圖譜基礎模型是關鍵問題之一。GPT系列和Gato等模型的成功表明，統一的基礎模型可以帶來實質性優勢。然而，將這種模式應用于幾何領域仍面臨挑戰，如任務空間、數據空間和模型空間的復雜性。同時，現實世界的實驗驗證和模型訓練的有效閉環也是一個挑戰。目前的研究通常采用開環風格，但這種方法存在數據集小、評估不可靠等問題。因此，需要在模型預測和實驗驗證之間建立閉環，以更有效地訓練和測試幾何圖神經網絡。
此外，與大型語言模型（LLM）的集成也是一個值得研究的方向。LLM已證明擁有豐富知識，通過將LLM代理集成到幾何圖神經網絡（GNN）的管道中，可以增強GNN的能力。然而，這種集成面臨處理3D結構信息和進行預測/生成的挑戰。
最后，對同態性的放松也是一個值得研究的問題。雖然同態性有助于提高數據效率和泛化能力，但過于堅持同態性原則可能會限制模型性能。因此，探索在保持同態性和適應靈活性之間取得平衡的方法，對于增強模型實用性具有重要意義。
綜上所述，幾何圖譜領域仍有許多未解決的問題值得研究，包括基礎模型的設計、現實世界實驗驗證的有效閉環、與大型語言模型的集成以及對同態性的放松。這些問題的解決有望推動幾何圖譜領域的進一步發展。
文獻鏈接：https://arxiv.org/abs/2403.00485
文章轉自微信公眾號@算法進階