安裝 Langchain-Chatchat

在進行 OneAPI 的部署之前,需要安裝 Langchain-Chatchat,這是一個提供自然語言處理能力的 Python 庫。從 0.3.0 版本起,Langchain-Chatchat 可以通過簡單的 pip 命令進行安裝。

安裝步驟

確保使用官方 Pypi 源或清華源,這能保證安裝的是最新版本,減少可能的兼容性問題。

pip install langchain-chatchat -U

安裝 Langchain-Chatchat

手動部署 OneAPI

OneAPI 的手動部署過程需要先下載可執行文件,或者從源碼進行編譯。以下是詳細的步驟。

下載與編譯

GitHub 下載最新的 release 版本。

git clone https://github.com/songquanpeng/one-api.git
cd one-api/web/default
npm install
npm run build
cd ../..
go mod download
go build -ldflags "-s -w" -o one-api

運行

編譯完成后,運行以下命令啟動 OneAPI。

chmod u+x one-api
./one-api --port 3000 --log-dir ./logs

運行 OneAPI

初始化配置與數據目錄

從 0.3.1 版本起,Langchain-Chatchat 采用本地 YAML 文件進行配置,用戶可直接修改配置文件來適應特定需求。

配置文件設置

在配置過程中,用戶需要定義 Chatchat 的數據目錄。未設置時,默認使用當前目錄。

export CHATCHAT_ROOT=/path/to/chatchat_data
set CHATCHAT_ROOT=/path/to/chatchat_data

配置文件結構

模型配置

model_settings.yaml 文件中,用戶需要選擇合適的模型和嵌入模型。以下是具體配置示例:

DEFAULT_LLM_MODEL: qwen1.5-chat
DEFAULT_EMBEDDING_MODEL: bge-large-zh-v1.5

知識庫路徑配置

可以在 basic_settings.yaml 中配置知識庫的存儲路徑。

KB_ROOT_PATH: D:chatchat-testdataknowledge_base

知識庫配置

初始化知識庫

在開始之前,請確保模型推理框架和對應的嵌入模型已經啟動,并按照之前的步驟完成了模型接入配置。

chatchat kb -r

知識庫初始化

啟動項目

項目啟動后,用戶可以通過以下命令進行操作。

chatchat start -a

項目啟動

本地部署 ChatGLM2-6B

在本地部署 ChatGLM2-6B 時,我們可以參考現有的教程,確保在本地成功部署。

部署步驟

python openai_api.py

本地部署效果

使用 Docker 部署 OneAPI

Docker 提供了一種簡便的部署方式,只需一條命令即可。

docker run --name one-api -d --restart always -p 13000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Docker 部署

FAQ

什么是 OneAPI?

OneAPI 是一個集成多種模型和服務的平臺,旨在提供統一的接口以簡化模型調用和管理。

如何配置 OneAPI 的環境變量?

可以在操作系統的環境變量設置中定義 CHATCHAT_ROOT,或者在命令行中使用 export 命令。

為什么我的 OneAPI 啟動失敗?

請檢查是否已正確安裝所有依賴項,或者查看日志文件以獲取更多錯誤信息。

如何更新 Langchain-Chatchat?

使用 pip 命令 pip install langchain-chatchat -U 來更新到最新版本。

我可以在任何操作系統上運行 OneAPI 嗎?

是的,OneAPI 支持 Windows、macOS 和 Linux 系統,確保您的系統滿足基本的硬件和軟件要求即可。

通過這篇文章,我們詳細介紹了如何使用 OneAPI 接入對話模型的完整流程,從環境配置到模型部署的每個步驟都有詳細說明。希望對您有所幫助。

上一篇:

獲取汽車品牌的API接口及圖片鏈接

下一篇:

智譜清言 API 使用指南
#你可能也喜歡這些API文章!

我們有何不同?

API服務商零注冊

多API并行試用

數據驅動選型,提升決策效率

查看全部API→
??

熱門場景實測,選對API

#AI文本生成大模型API

對比大模型API的內容創意新穎性、情感共鳴力、商業轉化潛力

25個渠道
一鍵對比試用API 限時免費

#AI深度推理大模型API

對比大模型API的邏輯推理準確性、分析深度、可視化建議合理性

10個渠道
一鍵對比試用API 限時免費