使用 API 創建簡單的 SaaS 工具每天賺取利潤
如果看完會心一笑，那么建議您繼續閱讀接下來的內容 ??
趁著公司180B大模型即將上線，將自己最近的思考做個總結，這篇算是公司產品及商業的一個宣傳。
TigerBot是公司自主研發的LLM（大語言模型）的名稱。
我們都知道LLM的研發離不開“海量的數據”、“超大規模的算力”、“核心的算法”三要素。
數據層面：擁有多年積累的行業高質量數據，以及對這些數據處理的經驗，公開的資料表明：GPT3采集了45T的互聯網公開數據，清洗過濾后只有570G進入到大模型中進行預訓練，因此LLM研發前期很大的工作投入和成本需要花在數據層面，這是研發大模型的第一個門檻。尤其在中文語境下，要面臨更加復雜的語言體系。
算力層面：目前擁有自購及長期租賃的千張A100 GPU顯卡，幸好我們下手早，GPU市場現在待價而沽，其中各種“見聞”略過不表。順便說一句，因為各家都在推出“自研”的大模型，可謂百“模”齊放，如果某個公司號稱自研了商用千億參數模型，但是他們儲備的GPU卻不多，那么這句話的真實性就很可疑了。目前GPU成了很多企業從零開始訓練LLM的第二個門檻。
核心算法：由我司NLP領域世界級科學家，也是公司創始人兼CEO親自Coding，當然大家煉丹的步驟都是公開且一致的，大規模預訓練語言模型+SFT（有監督的指令微調）+RLHF（基于人工反饋的強化學習），這里面有很多算法及工程上技巧，成為了第三個門檻。市面上目前有很多開源的大模型方案，說實話優秀的不多。
TigerBot分為兩個版本，一個是2月份開發完成的7B（70億）參數模型，另一個是即將推出的180B（1800億）參數模型。
TigerBot有哪些能力？
目前我們僅對7B模型做了總結，180B后續會有單獨文章做介紹，受限于7B的參數和訓練數據的局限性，目前擁有的包括自回歸模型最擅長的生成類能力，包括開放問答、頭腦風暴、潤色重寫、代碼生成等，這類能力基本是大模型公司的標配，在此放上申請鏈接（https://www.tigerbot.com/），有興趣可以直接申請賬號體驗。
同時LLM作為AI 2.0時代的拐點技術，以跨場景、多任務的統一模型對AI 1.0時代通過小模型進行單任務、多模型的限制進行了突破，作為基座模型可以通過0-shot、few-shot等低成本的方式適配各類五花八門的任務，包括摘要總結、情感分類、抽取等，從而可以實現規模化、平臺化效應，這也是為什么LLM被稱為AI的“iPhone”時刻的原因之一。
這里重點介紹下，TigerBot如何解決LLM的“幻覺”和“數據滯后”問題，LLM雖然很強大，但是也存在一些缺陷，其中一個是“幻覺”，也就是大家常說的會一本正經的胡說；另一個是“數據滯后”，由于LLM訓練一次成本非常高，不可能將最新的數據實時放在預訓練模型中。
上圖是兩種缺陷的例子，以及如何通過插件的方式開發了Rethink功能，將提問的問題通過Plug-in的方式，搜索互聯網信息/訪問最新的研報知識庫，將問題和檢索結果放入LLM中提問，從而獲得正確的答案。BTW：New Bing和LangChain也是采用的類似技術。
TigerBot LLM基座的優勢做個小結：自主可控、垂直專業，更懂中文，以及支持私有化部署。下圖是私有化部署所需的最低配置。
這里稍微展開講下更懂中文，一個國家/民族的語言與思維、世界觀、價值觀有很強的內在關聯，聽過一則趣聞，Sam Altman曾被問到為什么ChatGPT生成的夸Trump的字數比Biden的少？這里涉及到非英語語言世界關乎意識形態的深刻問題，也是為什么國家對于大模型始終保持謹慎踩剎車態度的原因之一。
TigerBot API生態和應用
接下來介紹下LLM基座之上規劃的API生態及相關應用。
TigerBot API分為三類：
1、Chat-API：將LLM的問答能力以API方式進行暴露，從而可以調取使用；
2、Plug-in：一種外掛的插件能力，將大模型不具備的或者私域知識以“外腦”的方式進行掛載使用；
3、Fine-Tune：是一種改進預訓練模型性能的技術，通過提供指令集和調整模型部分參數的方式，教授模型特定任務或模式，使其能夠在特定領域更有效地執行。
Chat-API
下圖是API的接入界面，左側的模型即為Chat-API，另外包括完整的Plugin和FineTune接口流程及規范，支持Python、cURL等方式接入。
Chat-API的使用非常簡潔，填入自己的API_KEY，需要LLM回答的問題，選擇LLM版本，即可與TigerBot進行交互，返回生成的答案。
有些人可能會問Chat-API如何應用，其實這就是最近很火的Prompt Engineering（提示工程）。
吳恩達甚至專門開設了一系列課程《prompt-engineering-for-developers》來介紹，課程里有一個核心的觀點：“問對問題是使用好大語言模型的關鍵”。
我們看到市面上已經有非常多基于大模型的應用被開發出來，包括英語口語對聊、虛擬男/女友，代碼優化查Bug，產品評價內容智能回復等，這些應用短則只需一分鐘就可以開發出來，因為它的功能模塊編寫非常簡單，上圖右下方就是每個應用的開發編程語言。
很多人對編程語言的印象還停留在Java、C++、Python等，在大模型時代，以自然語言就可以實現功能模塊的編寫，畢竟無論編程語言還是自然語言，都是一種語言，以前要專人幫忙把你的需求翻譯成計算機語言，從而產生了程序員角色，今后可以直接通過描述需求的方式讓大模型實現。
在使用Chat-API的過程中，有兩個可以提升大模型答案效果的技巧：
1. 更明確具體的指令：
比如我們想讓大模型寫一首詩，一般人會想到的是“幫我寫一首詩，包含春天、桃花”，此時大模型會輸出一段貼合需求的詩。
但是如果你這樣描述Prompt：“我要你扮演詩人。你將創作出能喚起情感并具有觸動人心的力量的詩歌。寫任何主題或主題，但要確保您的文字以優美而有意義的方式傳達您試圖表達的感覺。您還可以想出一些短小的詩句，這些詩句仍然足夠強大，可以在讀者的腦海中留下印記。我的第一個請求是“幫我寫一首詩，包含春天、桃花”。”以這樣的指令，將同樣的需求給到LLM，那么就可以得到一個效果更好的答案。
2. 給大模型多個示例：
假設現在有這樣一個需求，開發一個文本爭議度打分模型，在AI 2.0時代，你所需要做的僅僅只需要一句話：“針對輸入文字，給它一個0到10的爭議分數。輸入文字：路怒界“臥龍鳳雛”！上海“黃藍斗車”后續”，模型即可對你輸入的文字進行打分。
但是如果你補充一些示例：“針對輸入文字，給它一個0到10的爭議分數。示例如下：1+1=2。爭議分：0；你認為生男孩好還是生女孩好？爭議分：10。輸入文字：路怒界“臥龍鳳雛”！上海“黃藍斗車”后續”，那么得到的分數會更加準確。
Plug-in
第二類API就是Plug-in，目前擁有內置的插件和支持自定義插件開發。
內置Plugins包括：
直接在答案右下角選擇對應的插件即可體驗使用。
自定義插件也非常簡單，僅僅只需要三步驟：
如上圖右側的例子，當提問法律問題“胎兒尚未出生，其父親因車禍不幸身亡，胎兒是否有權繼承父親的遺產？”
由于7B的TigerBot并未利用法律文書進行預訓練，因此給出的答案認為遺腹子不能繼承遺產，但我們可以通過law plugin（法律插件）查詢《民法典》從而得到正確的答案：“胎兒雖然不是被繼承人的法定繼承人，但胎兒的出生并不意味著其與被繼承人的親屬關系被消滅。胎兒出生后，其父親所遺留的遺產仍應被繼承。因此，胎兒有權利繼承父親的遺產。”
Plug-in可以應用于：查找最新的事件，檢索內部私域的非公開文檔，以及突破大模型的輸入Token限制。
Plug-in的原理是一種先search后ask的流程，將外掛知識處理成一段段的文本塊，再將其表示為向量存儲進行索引，插件在運行過程中會將問題與答案所在的文本塊進行向量匹配，將可能存在答案的所有文本塊與問題拼接后，一并放入大模型中進行提問，從而得到正確答案。
Plug-in的優勢尤其是在大型數據集中，可以用更低的計算成本，更快的搜索相關信息，同時還能防止“幻覺”導致的虛構或捏造事實。在很多領域都可以進行實際應用，比如可以基于TigerBot等大模型結合藥品說明書、病歷等開發自己的醫藥問診插件，結合工廠的規章制度文件、檢修報告開發工業故障巡檢插件。
Fine-Tune
第三類API是Fine-Tune，借助TigerBot基座模型，利用行業及內部數據，快速微調定制屬于自己的大語言模型。
之前對比圖可以看到Fine-Tune存在計算成本較高，靈活適應性較低等問題。因此是否選擇微調LLM，具體取決于自身具體要求、行業性質和特殊目標，我這里整理了如下幾個適合選擇微調的應用場景：
最后以一張圖做個總結，也是給各位希望結合大模型賦能自身業務的企業一個選擇路徑參考。
原文鏈接：大模型基座及API應用
