
企業如何快速建立自己的專屬AI大模型?
從功能和職責上說:
從部署上說:
在這里引入兩個使用非常廣泛的術語:
解釋一下“東西南北”的由來:如上圖所示,通常在地圖上習慣性的遵循“上北下南,左東右西”的原則。
總結:Service Mesh 和 API Gateway 在功能和職責上分工明確,界限清晰。但如果事情就這么結束,也就不會出現 Service Mesh 和 API Gateway 關系的討論了,自然也不會有本文。
問題的根源在哪里?
強烈推薦閱讀:附錄中 Christian Posta 的文章 “Do I Need an API Gateway if I Use a Service Mesh?”對此有深度分析和講解。
如下圖所示,圖中黃色的線條表示的是 API Gateway 訪問內部服務:
問題來了,從流量走向看:這是外部流量進入系統后,開始訪問對外暴露的服務,應該屬于“南北向”通訊,典型如上圖的畫法。但從另外一個角度,如果我們將 API Gateway 邏輯上拆分為兩個部分,先忽略對外暴露的部分,單獨只看 API Gateway 訪問內部服務的部分,這時可以視 API Gateway 為一個普通的客戶端服務,它和內部服務的通訊更像是“東西向”通訊:
所以,API Gateway 作為一個客戶端訪問內部服務時,到底算南北向還是東西向,就成為一個哲學問題:完全取決于我們如何看待 API Gateway ,是作為一個整體,還是邏輯上分拆為對內對外兩個部分。
這個哲學問題并非無厘頭,在 API Gateway 的各種產品中,關于如何實現 “API Gateway 作為一個客戶端訪問內部服務” ,就通常分成兩個流派:
而最終決策通常也和產品的定位有關:如果希望維持 API Gateway 的獨立產品定位,希望可以在不同的服務間通訊方案下都可以使用,則通常選擇前者,典型如 kong;如果和服務間通訊方案有非常深的淵源,則通常選擇后者,典型如 springcloud 生態下的 zuul 和 springcloud gateway。
但無論選擇哪個流派,都改變不了一個事實,當 “API Gateway 作為一個客戶端訪問內部服務” 時,它的確和一個普通內部服務作為客戶端去訪問其他服務沒有本質差異:服務發現,負載均衡,流量路由,熔斷,限流,服務降級,故障注入,日志,監控,鏈路追蹤,訪問控制,加密,身份認證… 當我們把網關訪問內部服務的功能一一列出來時,發現幾乎所有的這些功能都是和服務間調用重復。
這也就造成了一個普遍現象:如果已有一個成熟的服務間通訊框架,再去考慮實現 API Gateway,重用這些重復的能力就成為自然而然的選擇。典型如前面提到的 springcloud 生態下的 zuul 以及后面開發的 springcloud gateway,就是以重用類庫的方式實現了這些能力的重用。
這里又是一個類似的哲學問題:當 “API Gateway 作為一個客戶端訪問內部服務” 時,它以重用類庫的方式實現了代碼級別的能力重用,相當于自行實現了一個和普通服務間通訊方案完全一樣的客戶端,那這個“客戶端”發出來的流量算東西向還是南北向?
答案不重要。
在進入 servicemesh 時代之后,Servicemesh 和 API gateway 的關系開始是這樣:
此時兩者的關系很清晰,而且由于當時 Servicemesh 和 API Gateway 是不同的產品,兩者的重合點只是在功能上。
而隨著時間的推移,當 Servicemesh 產品和 API Gateway 產品開始出現相互滲透時,兩者的關系就開始變得曖昧。
在 Servicemesh 出現之后,如何為基于 Servicemesh 的服務選擇合適的 API Gateway 方案,就慢慢開始提上日程,而其中選擇重用 Servicemesh 的能力也自然成為一個探索的方向,并逐步出現新式 API Gateway 產品,其想法很直接:
如何融合東西向和南北向的通訊方案?
其中的一個做法就是基于 Servicemesh 的 Sidecar 來實現 API Gateway,從而在南北向通訊中引入 Servicemesh 這種東西向通訊的方案。這里我們不展開細節,我這里援引一個圖片(鳴謝趙化冰同學)來解釋這個方案的思路:
這個時候 servicemesh 和 API Gateway 的關系就變得有意思了,因為 servicemesh 中 sidecar 的引入,所以前面的“哲學問題”又有了一個新的解法:API Gateway 這次真的可以分拆為兩個獨立部署的物理實體,而不是邏輯上的兩個部分:
在這個方案中,原來用于 servicemesh 的 sidecar,被用在了 API Gateway 中,替代了 API Gateway 中原有的客戶端訪問的各種功能。這個方案讓 API Gateway 的實現簡化了很多,也實現了東西向和南北向通訊能力的重用和融合,而 API Gateway 可以更專注于 “API Management” 的核心功能。
此時 servicemesh 和 API Gateway 的關系就從“涇渭分明”變成了“兼容并濟”。
而采用這個方案的公司,通常都是先有 servicemesh 產品,再基于 servicemesh 產品規劃(或者重新規劃)API Gateway 方案,典型如螞蟻金服的 SOFA Gateway 產品是基于 MOSN,而社區開源產品 Ambassador 和 Gloo 都是基于 Envoy。
上述方案的優勢在于 API Gateway 和 Sidecar 獨立部署,職責明確,架構清晰。但是,和 servicemesh 使用 sidecar 被質疑多一跳會造成性能開銷影響效率一樣,API Gateway 使用 Sidecar 也被同樣的質疑:多了一跳…
解決“多一跳”問題的方法簡單而粗暴,基于 sidecar,將 API Gateway 的功能加進來。這樣 API Gateway 本體和 Sidecar 再次合二為一:
至于走到這一步之后,Servicemesh 和 API Gateway 是什么關系:這到底算是 Servicemesh/sidecar 融合了 API Gateway,還是 API Gateway 融合了 Servicemesh/Sidecar?這個問題就像斑馬到底是白底黑紋還是黑底白紋一樣,見仁見智。
BFF(Backend For Frontend)的引入會讓 Servicemesh 和 API Gateway 走到一個更加親密的地步。
先來看看常規的 BFF 的玩法:
在這里,多增加了一個 BFF 層,介于 API Gateway 和內部服務(包括組合服務和原子微服務)之間。注意 BFF 的工作模式和組合服務很類似,都是組合多個服務。但差別在于:
“BFF 完全收口外部流量”,這一點在 API Gateway 和 Sidecar 融合之后,會變得很有想象空間,我們先看按照前面的融合方式,在有 BFF 的情況下,API Gateway 和 Sidecar 融合后的情景:
放大一點,單獨看 API Gateway 和 BFF:
注意到,流量從被 API Gateway 接收,到進入 BFF 在這個流程中,這個請求路徑中有兩個 sidecar:
所以,問題來了:為什么要放兩個 sidecar 在流程中,縮減到一個會怎么樣?我們嘗試將兩個 Sidecar 合二為一,去掉 BFF 自帶的 Sidecar,直接把扮演 API Gateway 的 sidecar 給 BFF 用:
此時的場景是這樣:
注意這里有一個關鍵點,在前面時特意注明的:“BFF 完全收口外部流量”。這是前提條件,因為原有的 API Gateway 集群已經不再存在,如果 BFF 沒能收口全部流量,則這些未能收口的流量會找不到 API Gateway。當然,如果愿意稍微麻煩一點,在部署時清晰的劃定需要暴露給外界的服務,直接在這些服務上部署帶 API Gateway 功能的 Sidecar,也是可行的,只是管理上會比 BFF 模式要復雜一些。
另外,在部署上,按照上面的方案,我們會發現:API Gateway“消失”了 —— 不再有一個明確物理部署的 API Gateway 的集群,常規的中心化的網關在這個方案中被融合到每一個 BFF 的實例中,從而實現另外一個重要特性:去中心化。
上述 Servicemesh 和 API Gateway 融合的方案,并未停留在紙面上。
在螞蟻金服內部,我們基于 Servicemesh 和 API Gateway 融合 + 去中心化的思路,進行過開創性的實踐和探索。以支付寶移動網關為例,在過去十年間,網關經歷了從單體到微服務,從中心化到去中心化,從共享的 gateway.jar 包到利用 MOSN 實現網關 Mesh 化/Sidecar 化,最終演變成了這樣一個方案:
強烈推薦閱讀:附錄中我的同事 賈島 的文章 “螞蟻金服 API Gateway Mesh 思考與實踐” 對此有深入介紹和詳細描述。
本文總結了 Servicemesh 和 API Gateway 的關系,整體上說兩者的定位和職責“涇渭分明”,但在具體實現上,開始出現融合的趨勢:早期傳統方式是類庫級別的代碼復用,最新趨勢是 API Gateway 和 Sidecar 合二為一。
后者的發展才剛剛起步,包括在螞蟻金服我們也是才開始探索這個方向,但是相信在未來一兩年間,社區可能會有更多的類似產品形態出現。
補充介紹一下文中多次提到的“MOSN”:
MOSN 是 MOSN 是 Modular Open Smart Network 的簡稱, 是一款使用 Go 語言開發的網絡代理軟件,由螞蟻金服開源并經過幾十萬容器的生產級驗證。 MOSN 作為云原生的網絡數據平面,旨在為服務提供多協議、模塊化、智能化、安全的代理能力。 MOSN 可以與任何支持 xDS API 的 Service Mesh 集成,亦可以作為獨立的四、七層負載均衡,API Gateway、云原生 Ingress 等使用。
意猶未盡的同學,歡迎繼續閱讀以下內容。
按文章發表的時間排序:
原文鏈接:Service Mesh 和 API Gateway 關系深度探討,作者:敖小劍