安裝完成后，用戶可以在終端中輸入ollama命令來查看Ollama支持的所有命令，包括啟動、創(chuàng)建模型、運(yùn)行模型等。

Usage:
  ollama [flags]
  ollama [command]
Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command
Flags:
  -h, --help      help for ollama
  -v, --version   Show version information
Use "ollama [command] --help" for more information about a command.

2. Ollama的配置

Ollama安裝后自動啟動本地服務(wù)，用戶可以通過訪問本地API端口來驗證是否安裝成功。默認(rèn)情況下，Ollama監(jiān)聽在localhost的11434端口。用戶可以通過以下命令來測試服務(wù)是否正常啟動：

curl http://localhost:11434/api/generate -d '{"model": "qwen2","prompt": "who are you?","stream":false}'

如果返回正常的結(jié)果，則說明API服務(wù)已成功啟動。

3. 配置遠(yuǎn)程訪問和自定義模型路徑

為了支持遠(yuǎn)程訪問，用戶需要配置環(huán)境變量OLLAMA_HOST為0.0.0.0，這樣就可以通過IP地址訪問API服務(wù)。此外，用戶可以通過配置OLLAMA_MODELS來更改大模型的默認(rèn)存儲路徑。更改配置后，需要重啟Ollama服務(wù)使其生效。

部署和運(yùn)行大模型

實際部署大模型時，用戶可以選擇不同的模型版本進(jìn)行安裝和運(yùn)行。以LLaMA3模型為例，用戶可以通過以下命令來運(yùn)行模型：

ollama run llama3

如果模型未下載，Ollama會自動進(jìn)行下載。下載完成后，模型將自動啟動。

在LangChain中使用Ollama

1. Jupyter環(huán)境中的使用

用戶可以在Jupyter Notebook中通過LangChain直接調(diào)用Ollama。需要首先安裝Jupyterlab，然后創(chuàng)建一個新的Notebook文件，輸入如下代碼來調(diào)用模型：

from langchain_community.chat_models import ChatOllama
from langchain_core.messages import HumanMessage

ollama_llm = ChatOllama(model="llama3")
messages = [
    HumanMessage(content="你好，請你介紹一下你自己")
]
chat_model_response = ollama_llm.invoke(messages)
chat_model_response

2. 直接通過Python運(yùn)行

通過Python代碼，用戶也可以直接調(diào)用Ollama的API服務(wù)。以下是一個簡單示例：

from langchain_community.chat_models import ChatOllama
ollama_llm = ChatOllama(model="llama3")
messages = [HumanMessage(content="你好，請你介紹一下你自己")]
chat_model_response = ollama_llm.invoke(messages)
print(chat_model_response)

執(zhí)行以上代碼可以得到AI模型的響應(yīng)。

Ollama的API調(diào)用

Ollama不僅支持終端交互，還允許通過API進(jìn)行調(diào)用。主要提供了generate和chat兩個API接口。

generate API

generate API用于生成單次交互的數(shù)據(jù)，可以通過以下命令調(diào)用：

curl http://localhost:11434/api/generate -d '{"model": "gemma:2b", "prompt":"介紹一下React，20字以內(nèi)"}'

chat API

chat API支持多輪對話，允許保留上下文信息：

curl http://localhost:11434/api/chat -d '{"model": "gemma:2b", "messages": [{"role": "user", "content": "介紹一下React，20字以內(nèi)"}]}'

使用Web UI進(jìn)行交互

除了命令行和API，用戶還可以使用開源的Web UI工具來更直觀地與大模型進(jìn)行交互。例如，可以使用open-webui來搭建本地的可視化交互界面。

FAQ

1. Ollama的默認(rèn)存儲路徑如何更改？

• 用戶可以通過設(shè)置環(huán)境變量OLLAMA_MODELS來更改默認(rèn)模型存儲路徑。

2. 如何配置Ollama支持遠(yuǎn)程訪問？

• 設(shè)置環(huán)境變量OLLAMA_HOST為0.0.0.0，并重啟Ollama服務(wù)。

3. Ollama支持哪些大模型？

• Ollama支持LLaMA3、Mistral、Dolphin Phi等多種大模型，用戶可以在Ollama官網(wǎng)查看完整列表。

通過上述步驟，用戶可以在本地環(huán)境中輕松部署和運(yùn)行Ollama，利用其強(qiáng)大的API調(diào)用功能與大模型進(jìn)行交互，為開發(fā)和測試提供了極大的便利。