安裝 Langchain-Chatchat

在進行 OneAPI 的部署之前，需要安裝 Langchain-Chatchat，這是一個提供自然語言處理能力的 Python 庫。從 0.3.0 版本起，Langchain-Chatchat 可以通過簡單的 pip 命令進行安裝。

安裝步驟

確保使用官方 Pypi 源或清華源，這能保證安裝的是最新版本，減少可能的兼容性問題。

pip install langchain-chatchat -U

手動部署 OneAPI

OneAPI 的手動部署過程需要先下載可執行文件，或者從源碼進行編譯。以下是詳細的步驟。

下載與編譯

從 GitHub 下載最新的 release 版本。

git clone https://github.com/songquanpeng/one-api.git
cd one-api/web/default
npm install
npm run build
cd ../..
go mod download
go build -ldflags "-s -w" -o one-api

運行

編譯完成后，運行以下命令啟動 OneAPI。

chmod u+x one-api
./one-api --port 3000 --log-dir ./logs

初始化配置與數據目錄

從 0.3.1 版本起，Langchain-Chatchat 采用本地 YAML 文件進行配置，用戶可直接修改配置文件來適應特定需求。

配置文件設置

在配置過程中，用戶需要定義 Chatchat 的數據目錄。未設置時，默認使用當前目錄。

export CHATCHAT_ROOT=/path/to/chatchat_data
set CHATCHAT_ROOT=/path/to/chatchat_data

模型配置

在 model_settings.yaml 文件中，用戶需要選擇合適的模型和嵌入模型。以下是具體配置示例：

DEFAULT_LLM_MODEL: qwen1.5-chat
DEFAULT_EMBEDDING_MODEL: bge-large-zh-v1.5

知識庫路徑配置

可以在 basic_settings.yaml 中配置知識庫的存儲路徑。

KB_ROOT_PATH: D:chatchat-testdataknowledge_base

初始化知識庫

在開始之前，請確保模型推理框架和對應的嵌入模型已經啟動，并按照之前的步驟完成了模型接入配置。

chatchat kb -r

啟動項目

項目啟動后，用戶可以通過以下命令進行操作。

chatchat start -a

本地部署 ChatGLM2-6B

在本地部署 ChatGLM2-6B 時，我們可以參考現有的教程，確保在本地成功部署。

部署步驟

python openai_api.py

使用 Docker 部署 OneAPI

Docker 提供了一種簡便的部署方式，只需一條命令即可。

docker run --name one-api -d --restart always -p 13000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

FAQ

什么是 OneAPI？

OneAPI 是一個集成多種模型和服務的平臺，旨在提供統一的接口以簡化模型調用和管理。

如何配置 OneAPI 的環境變量？

可以在操作系統的環境變量設置中定義 CHATCHAT_ROOT，或者在命令行中使用 export 命令。

為什么我的 OneAPI 啟動失敗？

請檢查是否已正確安裝所有依賴項，或者查看日志文件以獲取更多錯誤信息。

如何更新 Langchain-Chatchat？

使用 pip 命令 pip install langchain-chatchat -U 來更新到最新版本。

我可以在任何操作系統上運行 OneAPI 嗎？

是的，OneAPI 支持 Windows、macOS 和 Linux 系統，確保您的系統滿足基本的硬件和軟件要求即可。

通過這篇文章，我們詳細介紹了如何使用 OneAPI 接入對話模型的完整流程，從環境配置到模型部署的每個步驟都有詳細說明。希望對您有所幫助。