
如何使用 DeepSeek 構建 AI Agent:終極指南
在Ollama官網上,根據操作系統的類型選擇對應的安裝包。以macOS為例,下載安裝后,在終端輸入ollama
,可以查看Ollama支持的命令。安裝過程簡單快捷,只需執行幾個命令即可完成。
ollama -v
下載大模型是Ollama的一大特點,用戶可以根據需要選擇不同參數規模的模型。例如,Llama3模型提供了8B和70B兩個版本,用戶可以根據計算資源選擇合適的版本。下載命令如下:
ollama run llama3
下載過程可能需要一些時間,具體取決于模型的大小和網絡速度。
Ollama提供了詳細的API參考文檔,用戶可以通過本地服務器的11434端口訪問API服務。API調用非常靈活,支持常見的generate和chat模式,用戶可以根據需求選擇適合的調用方式。
generate API用于一次性生成數據,支持流式返回和非流式返回兩種模式。用戶可以通過設置stream
參數控制返回方式。
curl http://localhost:11434/api/generate -d '{
"model": "gemma:2b",
"prompt":"介紹一下React,20字以內"
}'
curl http://localhost:11434/api/generate -d '{
"model": "gemma:2b",
"prompt":"介紹一下React,20字以內",
"stream": false
}'
chat API與generate API的區別在于它支持多輪對話,能夠附加歷史記錄,適合用于連續對話場景。
curl http://localhost:11434/api/chat -d '{
"model": "gemma:2b",
"messages": [
{ "role": "user", "content": "介紹一下React,20字以內" }
]
}'
在Ollama安裝完成后,用戶可以直接在終端與大模型進行交互。輸入命令后,模型會根據提示生成相應的內容。
>>> 介紹一下React
終端會顯示模型生成的結果,方便用戶快速獲取信息。
除了終端和API調用,用戶還可以通過Web UI與大模型進行交互。目前已有多個開源的Web UI項目支持Ollama,比如open-webui和lollms-webui。這些工具提供了更為直觀的操作界面,用戶可以通過瀏覽器直接與大模型互動。
在Jupyter Notebook中,用戶可以通過LangChain直接調用Ollama大模型。這種方式非常適合數據分析和機器學習實驗。
from langchain_community.chat_models import ChatOllama
ollama_llm = ChatOllama(model="llama3")
from langchain_core.messages import HumanMessage
messages = [
HumanMessage(
content="你好,請你介紹一下你自己",
)
]
chat_model_response = ollama_llm.invoke(messages)
chat_model_response
用戶也可以通過Python腳本直接調用Ollama大模型,這為開發自動化應用提供了便利。
from langchain_community.chat_models import ChatOllama
ollama_llm = ChatOllama(model="llama3")
from langchain_core.messages import HumanMessage
messages = [
HumanMessage(
content="你好,請你介紹一下你自己",
)
]
chat_model_response = ollama_llm.invoke(messages)
chat_model_response
問:Ollama支持哪些大模型?
問:如何解決API調用失敗的問題?
問:Ollama的安裝過程中遇到問題怎么辦?
問:如何在LangChain中使用Ollama?
問:Ollama在本地運行的優勢是什么?