函數(shù)計算 FC 提供的試用額度[1] 可用于資源消耗。額度消耗完后按量計費,對于本教程所涉及的 Web服務(wù),只在有訪問的情況下才會產(chǎn)生費用。

二、支持的模型列表

1.Ollama:輕量級推理框架,專注于量化模型部署及各種開源 LLM 部署

2.Transformer:由 Hugging Face 提供的模型推理框架,支持 PyTorch、TensorFlow 等模型部署

方式1. 模型服務(wù)部署

使用 API 形式進(jìn)行模型調(diào)用,接入線上業(yè)務(wù)應(yīng)用。

1. 創(chuàng)建空白項目

進(jìn)入CAP控制臺[2]點擊“創(chuàng)建空白項目”開始創(chuàng)建,并為項目命名。

首次使用云原生應(yīng)用開放平臺 CAP [3]會自動跳轉(zhuǎn)到訪問控制快速授權(quán)頁面,滾動到瀏覽器底部單擊確認(rèn)授權(quán),等待授權(quán)結(jié)束后單擊返回控制臺。

2. 選擇模型服務(wù)

選擇“模型服務(wù)”組件并創(chuàng)建;

3. 預(yù)覽&部署

選擇模型 “DeepSeek-R1-Distill-Qwen-7B-GGUF”

點擊“資源配置”開始配置卡型及規(guī)格(可直接使用默認(rèn)配置)。

您也可以根據(jù)業(yè)務(wù)訴求填寫需要的卡型信息,DeepSeek-R1-Distill-Qwen-7B-GGUF 推薦使用 Tesla 系列。

點擊“預(yù)覽并部署”,該階段需下載模型,預(yù)計等待 10 分鐘左右即可完成。

4. 嘗試更多模型部署

如果您希望部署更多模型,但是支持列表中沒有,您可以 選擇“更多模型來源”。

如模型來源選擇“ModelScope” ,點擊“獲取 ModelScope 支持模型列表”[4]。

以 DeepSeek-R1-Distill-Qwen-7B-GGUF 為例,模版參考信息:

ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-7B-GGUF

執(zhí)行框架:Ollama

模型加載方式:單文件加載

GGUF 文件:DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

若希望支持列表中沒有的更多模型,可至 modelscope 復(fù)制相關(guān)模型 ID,并修改為加載的 GGUF 文件即可。

以 DeepSeek 14B [5]為例,如希望部署 14B 模型可將配置改為:

ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-14B-GGUF

GGUF 文件:DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf

更多 ollama 參數(shù)配置如 params,template 等,可參考 DeepSeek ollama library[6]

14B 及以上模型需在資源配置中使用 Ada 系顯卡,并且推薦使用全卡預(yù)留(48G顯存);

5. 驗證模型服務(wù)

點擊調(diào)試,即可測試和驗證相關(guān)模型調(diào)用。

在本地 IDE 中驗證模型調(diào)用:

6. 第三方平臺 API 調(diào)用

您可以選擇在 Chatbox 等其他第三方平臺中驗證和引用模型調(diào)用,以下以 chatbox 為例:

您可以自主切換至 deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/14B/32B 或其他參數(shù)模型。

同時,Cap 模型部署也支持多種模型部署能力,您可根據(jù)業(yè)務(wù)自行配置相關(guān)信息。

方式2 : 應(yīng)用模版部署

實現(xiàn) DeepSeek-R1 模型 + OpenWebUI 部署。

1. 創(chuàng)建項目

點擊如下鏈接新建項目:

https://cap.console.aliyun.com/projects

2. 部署模版

搜索 “DeepSeek” ,點擊 “基于 DeepSeek-R1 構(gòu)建AI聊天助手” 模版并部署。

選擇 Region 并部署應(yīng)用。

部署過程大約持續(xù) 10 分鐘左右。

3. 驗證應(yīng)用

部署完畢后,點擊 OpenWebUI 服務(wù),在訪問地址內(nèi)找到“公網(wǎng)訪問”。

在 OpenWebUI 界面驗證 DeepSeek 模型對話。

文章轉(zhuǎn)載自:0代碼!2種方式一鍵部署 DeepSeek 系列模型

上一篇:

云端部署DeepSeek操作指南

下一篇:

微調(diào)碾壓RAG?大模型意圖識別工程化實踐
#你可能也喜歡這些API文章!

我們有何不同?

API服務(wù)商零注冊

多API并行試用

數(shù)據(jù)驅(qū)動選型,提升決策效率

查看全部API→
??

熱門場景實測,選對API

#AI文本生成大模型API

對比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力

25個渠道
一鍵對比試用API 限時免費

#AI深度推理大模型API

對比大模型API的邏輯推理準(zhǔn)確性、分析深度、可視化建議合理性

10個渠道
一鍵對比試用API 限時免費