API 安全策略和基礎指南
如果 Prompt 查詢是可以識別的，那么它會被路由到小模型進行處理，這通常是一個更準確、響應更快且成本更低的操作。然而，如果 Prompt 查詢無法被識別，那么它將由大模型來處理。盡管大模型的運行成本較高，但它能夠成功返回更多種類型查詢的答案。通過這種方式，大模型應用產品可以在成本、性能和用戶體驗之間實現平衡。
—2—
大模型代理架構模式
在任何一個生態系統中，都會有多個針對特定任務領域的專家，并行工作以處理特定類型的查詢，然后將這些響應整合在一起，形成一個全面的答案。
這樣的架構模式非常適合復雜的問題解決場景，在這種場景中，問題的不同方面需要不同的專業知識，就像一個由專家組成的小組，每個專家負責處理更大問題的一個方面。更大的模型（比如：GPT-4）負責理解上下文，并將其分解為特定的任務或信息請求，這些任務或信息請求被傳遞給更小的代理模型。這些代理模型可能是較小模型，它們已經接受過特定任務的訓練，或者是具有特定功能的通用模型，比如：BERT、Llama-2、上下文提示和函數調用。
—3—
基于緩存的微調架構模式我們將緩存和微調引入到大模型應用架構中，可以解決成本高、推理速度慢以及幻覺等組合問題。
通過緩存初始結果，能夠在后續查詢中迅速提供答案，從而顯著提高了效率。
當我們累積了足夠的數據后，微調層將啟動，利用早期交互的反饋，進一步完善一個更為專業化的私有大模型。專有私有大模型不僅簡化了操作流程，也使專業知識更好地適應特定任務，使其在需要高度精確性和適應性的環境中，比如：客戶服務或個性化內容創建，表現得更為高效。對于剛入門的用戶，可以選擇使用預先構建的服務，比如：GPTCache，或者使用常見的緩存數據庫：Redis、Cassandra、Memcached 來運行自己的服務。
—4—
面向目標的 Agent 架構模式
對于用戶的 Prompt 提示詞，Agent 會基于大模型先做規劃（Planning），拆解成若干子任務，然后對每個子任務分別執行（Action），同時對每一步的執行結果進行觀測（Observation），如果觀測結果合格，就直接返回給用戶最終答案，如果觀測結果不合格或者執行出錯，會重新進行規劃（Replanning）。
這種面向目標的 Agent 架構模式非常常見，也是 AGI 大模型時代，每一個程序員同學都需要掌握的架構設計模式。
—5—
Agent 智能體組合架構模式
該架構設計模式強調了靈活性，通過模塊化 AI 系統，能自我重新配置以優化任務性能。這就像一個多功能工具，可以根據需求選擇和激活不同的功能模塊，對于需要為各種客戶需求或產品需求定制解決方案的企業來說，這是非常有效的。
我們可以通過使用各種自主代理框架和體系結構來開發每個 Agent 智能體，比如：CrewAI、Langchain、LLamaIndex、Microsoft Autogen 和 superAGI等。通過組合不同的模塊，一個 Agent 可以專注于預測，一個處理預約查詢，一個專注于生成消息，一個 Agent 來更新數據庫。將來，隨著專業 AI 公司提供的特定服務的增多，我們可以將一個模塊替換為外部或第三方服務，以處理特定的任務或領域的問題。
—6—
雙重安全架構設計模式圍繞大模型的核心安全性至少包含兩個關鍵組件：一是用戶組件，我們將其稱為用戶 Proxy 代理；二是防火墻，它為大模型提供了保護層。
用戶 Proxy 代理在查詢發出和返回的過程中對用戶的 Prompt 查詢進行攔截。該代理負責清除個人身份信息和知識產權信息，記錄查詢的內容，并優化成本。防火墻則保護大模型及其所使用的基礎設施。盡管我們對人們如何操縱大模型以揭示其潛在的訓練數據、潛在功能以及當今惡意行為知之甚少，但我們知道這些強大的大模型是脆弱的。在安全性相關的技術棧中，可能還存在其他安全層，但對于用戶的查詢路徑來說，Proxy 代理和防火墻是最關鍵的。
