亚洲精品手机在线,精品视频一区在线观看,亚洲一级片免费

Ollama 安裝和配置

下載安裝 Ollama

可以在Ollama官網(wǎng)下載適合Windows/MacOS/Linux的安裝程序。安裝完成后，可以通過設(shè)置一些環(huán)境變量來優(yōu)化Ollama的性能和使用體驗。

環(huán)境變量配置

以下是一些常用的環(huán)境變量及其說明：

OLLAMA_MODELS：模型文件存放目錄。
OLLAMA_HOST：Ollama服務(wù)監(jiān)聽的網(wǎng)絡(luò)地址。
OLLAMA_PORT：Ollama服務(wù)監(jiān)聽的端口。
OLLAMA_ORIGINS：HTTP客戶端請求來源。
OLLAMA_KEEP_ALIVE：模型在內(nèi)存中的存活時間。
OLLAMA_NUM_PARALLEL：請求處理并發(fā)數(shù)量。
OLLAMA_MAX_QUEUE：請求隊列長度。
OLLAMA_DEBUG：輸出Debug日志標(biāo)識。
OLLAMA_MAX_LOADED_MODELS：同時加載到內(nèi)存中的模型數(shù)量。

配置示例

export OLLAMA_HOST=0.0.0.0

export OLLAMA_PORT=11434

export OLLAMA_MODELS=/path/to/your/models

Ollama 管理本地大模型

展示本地大模型列表

通過ollama list命令可以查看本地已下載的大模型列表。

刪除單個本地大模型

使用ollama rm命令可以刪除指定的大模型。

啟動本地模型

使用ollama run命令可以啟動本地模型進行交互。

查看本地運行中模型列表

通過ollama ps命令可以查看當(dāng)前運行中的模型列表。

復(fù)制本地大模型

使用ollama cp命令可以復(fù)制本地已有的大模型。

Ollama 導(dǎo)入模型到本地的三種方式

方式一：從Ollama遠程倉庫下載

使用ollama pull命令可以直接從Ollama遠程倉庫下載大模型。

方式二：導(dǎo)入GGUF模型文件

如果已經(jīng)有GGUF模型權(quán)重文件，可以使用ollama create命令導(dǎo)入到本地。

方式三：導(dǎo)入safetensors模型文件

同樣，如果已經(jīng)有safetensors模型權(quán)重文件，也可以使用ollama create命令導(dǎo)入到本地。

基于WebUI部署Ollama可視化對話界面

下載并安裝Node.js

首先需要下載并安裝Node.js。

下載Ollama-WebUI工程代碼

通過git clone命令下載Ollama-WebUI的代碼。

啟動WebUI

在Ollama-WebUI目錄下，執(zhí)行npm run dev啟動WebUI。

Ollama WebUI對話界面

Ollama 客戶端API應(yīng)用

Ollama HTTP訪問服務(wù)

Ollama提供了generate和chat兩個API接口，可以通過HTTP請求調(diào)用。

Python API應(yīng)用

在Python中，可以通過安裝ollama包來使用Ollama的API。

import ollama

response = ollama.generate(model='qwen:7b', prompt='天空為什么是藍色的？')
print(response)

Java API應(yīng)用（SpringBoot應(yīng)用）

在SpringBoot應(yīng)用中，可以通過添加依賴和配置來使用Ollama的API。

@RestController
public class OllamaClientController {

    @Autowired
    private OllamaChatClient ollamaChatClient;

    @GetMapping("/ollama/chat/v1")
    public String ollamaChat(@RequestParam String msg) {
        return this.ollamaChatClient.call(msg);
    }
}