Docker 運行 Ollama

Docker 是一種輕量級的虛擬化技術，可以用于快速部署和運行 Ollama。用戶可以通過以下命令在 Docker 中運行 Ollama：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434

此命令會在后臺啟動一個 Ollama 容器，并通過 11434 端口提供服務。用戶需要確保 Docker 已正確安裝并支持 GPU 加速，以充分利用 AI 模型的性能。

Ollama AI 模型的下載和運行

用戶可以通過 Ollama 提供的命令行工具下載和運行 AI 模型。首先，訪問 Ollama 模型庫，選擇所需的模型并運行以下命令進行下載：

ollama run llama3.1

下載完成后，用戶可以通過 API 接口進行問答和其他任務。為了提供 API 服務，用戶需要安裝代理服務并配置相應的環境。

安裝代理服務

在提供 API 服務之前，用戶需要安裝代理服務。首先，創建一個新的虛擬環境并激活它：

python -m venv D:/ollama

ollama/Scripts/activate.bat

接下來，安裝必要的 Python 包：

(ollama)> pip install litellm

pip install litellm[proxy]

運行模型并提供服務

在安裝完代理服務后，用戶可以使用以下命令運行模型并提供服務：

litellm --model ollama/llama3.1

此時，Ollama 模型已在本地服務器上運行，用戶可以通過 API 接口進行交互。

Ollama 的環境變量配置

在使用 Ollama 提供服務時，合理配置環境變量可以大大提升其性能和可用性。以下是一些常用的環境變量設置：

• OLLAMA_HOST：設置 Ollama 服務監聽的網絡地址，默認是 127.0.0.1。若需對外提供服務，可設置為 0.0.0.0。
• OLLAMA_PORT：指定 Ollama 服務監聽的端口，默認是 11434。若有沖突，可修改為其他端口。
• OLLAMA_KEEP_ALIVE：指定模型加載到內存中后的存活時間。建議設置為 24h 提高訪問速度。
• OLLAMA_MAX_LOADED_MODELS：限制同時加載到內存中的模型數量，默認是 1。

Ollama 的 API 調用

Ollama 提供兩種主要的 API 接口：/api/generate 和 /api/chat。前者用于生成單個文本片段，而后者則支持對話式的多輪交互。

API 生成示例

用戶可以通過以下代碼片段調用 Ollama 的 API 進行文本生成：

import requests
import json

def generate_text(model, prompt):
    url = 'http://localhost:11434/api/generate'
    data = {
        "model": model,
        "prompt": prompt,
    }
    response = requests.post(url, headers={'Content-Type': 'application/json'}, data=json.dumps(data))
    if response.status_code == 200:
        result = response.json().get('response', '')
        print(result)
    else:
        print(f"Error: {response.status_code}")generate_text('llama3.1', '你好')

流式聊天示例

以下是使用 Ollama chat API 的示例代碼：

import requests
import json

def chat_with_model(model, messages):
    url = 'http://localhost:11434/api/chat'
    data = {
        "model": model,
        "messages": messages,
        "stream": True
    }
    response = requests.post(url, headers={'Content-Type': 'application/json'}, json=data)
    for line in response.iter_lines():
        if line:
            print(json.loads(line)['content'])chat_with_model('qwen2:latest', [{'role': 'user', 'content': '你好'}])

FAQ

什么是 Ollama？

Ollama 是一個支持多種 AI 模型的平臺，用戶可以通過它下載和運行模型，并通過 API 提供智能服務。

如何修改 Ollama 的模型存儲位置？

用戶可以通過設置環境變量 OLLAMA_MODELS 來修改模型的存儲路徑。例如，在 Windows 系統中，可以設置為 E:ollamamodels。

Ollama 支持哪些類型的 API？

Ollama 提供 /api/generate 和 /api/chat 兩種 API。前者用于生成文本片段，后者用于支持對話的交互。

如何運行 Ollama 的模型？

用戶可以使用命令 ollama run <model_name> 下載并運行模型。在 Docker 中運行 Ollama 則需要使用 docker run 命令。

環境變量 OLLAMA_KEEP_ALIVE 有什么作用？

OLLAMA_KEEP_ALIVE 用于設置模型在內存中的存活時間。設置較長的時間可以提高訪問速度，避免頻繁加載模型。