亚洲福利在线看,天堂va在线高清一区,精品免费tv久久久久久久

基本思路就是文本進(jìn)行拆分，然后embeding成向量，存儲(chǔ)到向量數(shù)據(jù)庫(kù)，作為知識(shí)庫(kù)，然后問(wèn)答時(shí)從知識(shí)庫(kù)查詢，將查詢到的向量以及匹配的文本，作為背景知識(shí) ，加上固定的prompt，引導(dǎo)llm模型輸出答案，如下代碼所示，{{context}}即為背景知識(shí)。

"""

背景知識(shí)：

{{context}} 

根據(jù)上述已知信息，簡(jiǎn)潔和專業(yè)的來(lái)回答用戶的問(wèn)題。

如果無(wú)法從中得到答案，請(qǐng)說(shuō) “根據(jù)已知信息無(wú)法回答該問(wèn)題” 或 “沒(méi)有提供足夠的相關(guān)信息”，

不允許在答案中添加編造成分，答案請(qǐng)使用中文。 

問(wèn)題是：{{question}}

"""

2.開(kāi)源方案介紹

除了類(lèi)似阿里等商業(yè)方案，對(duì)于中小企業(yè)，可以考慮輕量級(jí)的開(kāi)源方案。

調(diào)研了幾個(gè)開(kāi)源方案，從部署難易程度上選擇了fastgpt。

2.1 fastgpt

FastGPT 是一個(gè)基于 LLM 大語(yǔ)言模型的知識(shí)庫(kù)問(wèn)答系統(tǒng)，提供開(kāi)箱即用的數(shù)據(jù)處理、模型調(diào)用等能力。同時(shí)可以通過(guò) Flow 可視化進(jìn)行工作流編排，從而實(shí)現(xiàn)復(fù)雜的問(wèn)答場(chǎng)景。

其技術(shù)棧如下：

fastgpt提供了基礎(chǔ)的docker部署腳本，默認(rèn)用openapi的接口，所以只需要一個(gè)openapi的token即可，考慮到openapi對(duì)國(guó)內(nèi)有限制，可以考慮將服務(wù)器部署到國(guó)外服務(wù)器；當(dāng)然也可以申請(qǐng)國(guó)內(nèi)llm的token，比如百度文心一言、火星大模型等。

具體參考官方教程，熟悉docker的話，參考說(shuō)明文檔，修改openapi的token即可，還是比較簡(jiǎn)單的。

https://doc.fastgpt.in/docs/installation/docker/

缺點(diǎn)是fastgpt的web端代碼中不分代碼寫(xiě)死了，比如有些地方固定用了中文的界面，對(duì)于英文應(yīng)用稍顯不足，不過(guò)也可以自己修改代碼，編譯之后更新docker容器。

fastgpt的模式是創(chuàng)建應(yīng)用，然后應(yīng)用可以關(guān)聯(lián)知識(shí)庫(kù)，知識(shí)庫(kù)通過(guò)上傳文檔或者自定義生成，集成分成html鏈接和api 2種方式。

對(duì)話接口文檔，主要配置appIDd,chatId和messages內(nèi)容，messages指定role和content。

如果只是簡(jiǎn)單應(yīng)用，可以考慮fastgpt，快速簡(jiǎn)單。

2.2 Langchain-Chatchat

Langchain-Chatchat主要利用langchain思想實(shí)現(xiàn)的基于本地知識(shí)庫(kù)的問(wèn)答應(yīng)用，目標(biāo)期望建立一套對(duì)中文場(chǎng)景與開(kāi)源模型支持友好、可離線運(yùn)行的知識(shí)庫(kù)問(wèn)答解決方案。通過(guò)使用FastChat接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型，依托于langchain框架支持通過(guò)基于FastAPI提供的 API 調(diào)用服務(wù)，或使用基于Streamlit的 WebUI 進(jìn)行操作。

2.3 quivr

quivr構(gòu)建了一個(gè)完全可控的知識(shí)庫(kù)問(wèn)答平臺(tái)，支持docker部署，需要額外部署或者申請(qǐng)Supabase。

用法也比較簡(jiǎn)單，定義知識(shí)庫(kù)，上傳文檔，問(wèn)答時(shí)選定知識(shí)庫(kù)即可。

文檔支持更豐富，如Text, Markdown, PDF, Powerpoint, Excel, CSV, Word, Audio, Video。

2.4 DB-GPT

DB-GPT是一個(gè)開(kāi)源的數(shù)據(jù)庫(kù)領(lǐng)域大模型框架。目的是構(gòu)建大模型領(lǐng)域的基礎(chǔ)設(shè)施，通過(guò)開(kāi)發(fā)多模型管理、Text2SQL效果優(yōu)化、RAG框架以及優(yōu)化、Multi-Agents框架協(xié)作等多種技術(shù)能力，讓圍繞數(shù)據(jù)庫(kù)構(gòu)建大模型應(yīng)用更簡(jiǎn)單，更方便。

DB-GPT功能更強(qiáng)大，不僅支持文本問(wèn)答，還支持圖表展示。