
PixverseAI互動功能(HUG)在AI擁抱視頻生成中的應用
函數計算 FC 提供的試用額度[1] 可用于資源消耗。額度消耗完后按量計費,對于本教程所涉及的 Web服務,只在有訪問的情況下才會產生費用。
1.Ollama:輕量級推理框架,專注于量化模型部署及各種開源 LLM 部署
2.Transformer:由 Hugging Face 提供的模型推理框架,支持 PyTorch、TensorFlow 等模型部署
方式1. 模型服務部署
使用 API 形式進行模型調用,接入線上業務應用。
進入CAP控制臺[2]點擊“創建空白項目”開始創建,并為項目命名。
首次使用云原生應用開放平臺 CAP [3]會自動跳轉到訪問控制快速授權頁面,滾動到瀏覽器底部單擊確認授權,等待授權結束后單擊返回控制臺。
選擇“模型服務”組件并創建;
選擇模型 “DeepSeek-R1-Distill-Qwen-7B-GGUF”
點擊“資源配置”開始配置卡型及規格(可直接使用默認配置)。
您也可以根據業務訴求填寫需要的卡型信息,DeepSeek-R1-Distill-Qwen-7B-GGUF 推薦使用 Tesla 系列。
點擊“預覽并部署”,該階段需下載模型,預計等待 10 分鐘左右即可完成。
如果您希望部署更多模型,但是支持列表中沒有,您可以 選擇“更多模型來源”。
如模型來源選擇“ModelScope” ,點擊“獲取 ModelScope 支持模型列表”[4]。
以 DeepSeek-R1-Distill-Qwen-7B-GGUF 為例,模版參考信息:
ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-7B-GGUF
執行框架:Ollama
模型加載方式:單文件加載
GGUF 文件:DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
若希望支持列表中沒有的更多模型,可至 modelscope 復制相關模型 ID,并修改為加載的 GGUF 文件即可。
以 DeepSeek 14B [5]為例,如希望部署 14B 模型可將配置改為:
ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-14B-GGUF
GGUF 文件:DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf
更多 ollama 參數配置如 params,template 等,可參考 DeepSeek ollama library[6]
14B 及以上模型需在資源配置中使用 Ada 系顯卡,并且推薦使用全卡預留(48G顯存);
點擊調試,即可測試和驗證相關模型調用。
在本地 IDE 中驗證模型調用:
您可以選擇在 Chatbox 等其他第三方平臺中驗證和引用模型調用,以下以 chatbox 為例:
您可以自主切換至 deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/14B/32B 或其他參數模型。
同時,Cap 模型部署也支持多種模型部署能力,您可根據業務自行配置相關信息。
方式2 : 應用模版部署
實現 DeepSeek-R1 模型 + OpenWebUI 部署。
點擊如下鏈接新建項目:
https://cap.console.aliyun.com/projects
搜索 “DeepSeek” ,點擊 “基于 DeepSeek-R1 構建AI聊天助手” 模版并部署。
選擇 Region 并部署應用。
部署過程大約持續 10 分鐘左右。
部署完畢后,點擊 OpenWebUI 服務,在訪問地址內找到“公網訪問”。
在 OpenWebUI 界面驗證 DeepSeek 模型對話。
文章轉載自:0代碼!2種方式一鍵部署 DeepSeek 系列模型