
如何使用 DeepSeek 構建 AI Agent:終極指南
安裝完成后,用戶可以在終端中輸入ollama
命令來查看Ollama支持的所有命令,包括啟動、創建模型、運行模型等。
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
Ollama安裝后自動啟動本地服務,用戶可以通過訪問本地API端口來驗證是否安裝成功。默認情況下,Ollama監聽在localhost的11434端口。用戶可以通過以下命令來測試服務是否正常啟動:
curl http://localhost:11434/api/generate -d '{"model": "qwen2","prompt": "who are you?","stream":false}'
如果返回正常的結果,則說明API服務已成功啟動。
為了支持遠程訪問,用戶需要配置環境變量OLLAMA_HOST
為0.0.0.0
,這樣就可以通過IP地址訪問API服務。此外,用戶可以通過配置OLLAMA_MODELS
來更改大模型的默認存儲路徑。更改配置后,需要重啟Ollama服務使其生效。
實際部署大模型時,用戶可以選擇不同的模型版本進行安裝和運行。以LLaMA3模型為例,用戶可以通過以下命令來運行模型:
ollama run llama3
如果模型未下載,Ollama會自動進行下載。下載完成后,模型將自動啟動。
用戶可以在Jupyter Notebook中通過LangChain直接調用Ollama。需要首先安裝Jupyterlab,然后創建一個新的Notebook文件,輸入如下代碼來調用模型:
from langchain_community.chat_models import ChatOllama
from langchain_core.messages import HumanMessage
ollama_llm = ChatOllama(model="llama3")
messages = [
HumanMessage(content="你好,請你介紹一下你自己")
]
chat_model_response = ollama_llm.invoke(messages)
chat_model_response
通過Python代碼,用戶也可以直接調用Ollama的API服務。以下是一個簡單示例:
from langchain_community.chat_models import ChatOllama
ollama_llm = ChatOllama(model="llama3")
messages = [HumanMessage(content="你好,請你介紹一下你自己")]
chat_model_response = ollama_llm.invoke(messages)
print(chat_model_response)
執行以上代碼可以得到AI模型的響應。
Ollama不僅支持終端交互,還允許通過API進行調用。主要提供了generate
和chat
兩個API接口。
generate
API用于生成單次交互的數據,可以通過以下命令調用:
curl http://localhost:11434/api/generate -d '{"model": "gemma:2b", "prompt":"介紹一下React,20字以內"}'
chat
API支持多輪對話,允許保留上下文信息:
curl http://localhost:11434/api/chat -d '{"model": "gemma:2b", "messages": [{"role": "user", "content": "介紹一下React,20字以內"}]}'
除了命令行和API,用戶還可以使用開源的Web UI工具來更直觀地與大模型進行交互。例如,可以使用open-webui來搭建本地的可視化交互界面。
OLLAMA_MODELS
來更改默認模型存儲路徑。OLLAMA_HOST
為0.0.0.0
,并重啟Ollama服務。通過上述步驟,用戶可以在本地環境中輕松部署和運行Ollama,利用其強大的API調用功能與大模型進行交互,為開發和測試提供了極大的便利。