安裝完成后,用戶可以在終端中輸入ollama命令來查看Ollama支持的所有命令,包括啟動、創建模型、運行模型等。

Usage:
  ollama [flags]
  ollama [command]
Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command
Flags:
  -h, --help      help for ollama
  -v, --version   Show version information
Use "ollama [command] --help" for more information about a command.

2. Ollama的配置

Ollama安裝后自動啟動本地服務,用戶可以通過訪問本地API端口來驗證是否安裝成功。默認情況下,Ollama監聽在localhost的11434端口。用戶可以通過以下命令來測試服務是否正常啟動:

curl http://localhost:11434/api/generate -d '{"model": "qwen2","prompt": "who are you?","stream":false}'

如果返回正常的結果,則說明API服務已成功啟動。

API調用結果

3. 配置遠程訪問和自定義模型路徑

為了支持遠程訪問,用戶需要配置環境變量OLLAMA_HOST0.0.0.0,這樣就可以通過IP地址訪問API服務。此外,用戶可以通過配置OLLAMA_MODELS來更改大模型的默認存儲路徑。更改配置后,需要重啟Ollama服務使其生效。

環境變量配置

部署和運行大模型

實際部署大模型時,用戶可以選擇不同的模型版本進行安裝和運行。以LLaMA3模型為例,用戶可以通過以下命令來運行模型:

ollama run llama3

如果模型未下載,Ollama會自動進行下載。下載完成后,模型將自動啟動。

大模型部署成功

在LangChain中使用Ollama

1. Jupyter環境中的使用

用戶可以在Jupyter Notebook中通過LangChain直接調用Ollama。需要首先安裝Jupyterlab,然后創建一個新的Notebook文件,輸入如下代碼來調用模型:

from langchain_community.chat_models import ChatOllama
from langchain_core.messages import HumanMessage

ollama_llm = ChatOllama(model="llama3")
messages = [
    HumanMessage(content="你好,請你介紹一下你自己")
]
chat_model_response = ollama_llm.invoke(messages)
chat_model_response

Jupyter調用大模型

2. 直接通過Python運行

通過Python代碼,用戶也可以直接調用Ollama的API服務。以下是一個簡單示例:

from langchain_community.chat_models import ChatOllama
ollama_llm = ChatOllama(model="llama3")
messages = [HumanMessage(content="你好,請你介紹一下你自己")]
chat_model_response = ollama_llm.invoke(messages)
print(chat_model_response)

執行以上代碼可以得到AI模型的響應。

Python調用結果

Ollama的API調用

Ollama不僅支持終端交互,還允許通過API進行調用。主要提供了generatechat兩個API接口。

generate API

generate API用于生成單次交互的數據,可以通過以下命令調用:

curl http://localhost:11434/api/generate -d '{"model": "gemma:2b", "prompt":"介紹一下React,20字以內"}'

chat API

chat API支持多輪對話,允許保留上下文信息:

curl http://localhost:11434/api/chat -d '{"model": "gemma:2b", "messages": [{"role": "user", "content": "介紹一下React,20字以內"}]}'

使用Web UI進行交互

除了命令行和API,用戶還可以使用開源的Web UI工具來更直觀地與大模型進行交互。例如,可以使用open-webui來搭建本地的可視化交互界面。

FAQ

1. Ollama的默認存儲路徑如何更改?

2. 如何配置Ollama支持遠程訪問?

3. Ollama支持哪些大模型?

通過上述步驟,用戶可以在本地環境中輕松部署和運行Ollama,利用其強大的API調用功能與大模型進行交互,為開發和測試提供了極大的便利。

上一篇:

開源零代碼:現代應用開發的革命性工具

下一篇:

Ollama接口文檔的詳細解析
#你可能也喜歡這些API文章!

我們有何不同?

API服務商零注冊

多API并行試用

數據驅動選型,提升決策效率

查看全部API→
??

熱門場景實測,選對API

#AI文本生成大模型API

對比大模型API的內容創意新穎性、情感共鳴力、商業轉化潛力

25個渠道
一鍵對比試用API 限時免費

#AI深度推理大模型API

對比大模型API的邏輯推理準確性、分析深度、可視化建議合理性

10個渠道
一鍵對比試用API 限時免費