
PixverseAI互動功能(HUG)在AI擁抱視頻生成中的應(yīng)用
函數(shù)計算 FC 提供的試用額度[1] 可用于資源消耗。額度消耗完后按量計費,對于本教程所涉及的 Web服務(wù),只在有訪問的情況下才會產(chǎn)生費用。
1.Ollama:輕量級推理框架,專注于量化模型部署及各種開源 LLM 部署
2.Transformer:由 Hugging Face 提供的模型推理框架,支持 PyTorch、TensorFlow 等模型部署
方式1. 模型服務(wù)部署
使用 API 形式進(jìn)行模型調(diào)用,接入線上業(yè)務(wù)應(yīng)用。
進(jìn)入CAP控制臺[2]點擊“創(chuàng)建空白項目”開始創(chuàng)建,并為項目命名。
首次使用云原生應(yīng)用開放平臺 CAP [3]會自動跳轉(zhuǎn)到訪問控制快速授權(quán)頁面,滾動到瀏覽器底部單擊確認(rèn)授權(quán),等待授權(quán)結(jié)束后單擊返回控制臺。
選擇“模型服務(wù)”組件并創(chuàng)建;
選擇模型 “DeepSeek-R1-Distill-Qwen-7B-GGUF”
點擊“資源配置”開始配置卡型及規(guī)格(可直接使用默認(rèn)配置)。
您也可以根據(jù)業(yè)務(wù)訴求填寫需要的卡型信息,DeepSeek-R1-Distill-Qwen-7B-GGUF 推薦使用 Tesla 系列。
點擊“預(yù)覽并部署”,該階段需下載模型,預(yù)計等待 10 分鐘左右即可完成。
如果您希望部署更多模型,但是支持列表中沒有,您可以 選擇“更多模型來源”。
如模型來源選擇“ModelScope” ,點擊“獲取 ModelScope 支持模型列表”[4]。
以 DeepSeek-R1-Distill-Qwen-7B-GGUF 為例,模版參考信息:
ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-7B-GGUF
執(zhí)行框架:Ollama
模型加載方式:單文件加載
GGUF 文件:DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
若希望支持列表中沒有的更多模型,可至 modelscope 復(fù)制相關(guān)模型 ID,并修改為加載的 GGUF 文件即可。
以 DeepSeek 14B [5]為例,如希望部署 14B 模型可將配置改為:
ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-14B-GGUF
GGUF 文件:DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf
更多 ollama 參數(shù)配置如 params,template 等,可參考 DeepSeek ollama library[6]
14B 及以上模型需在資源配置中使用 Ada 系顯卡,并且推薦使用全卡預(yù)留(48G顯存);
點擊調(diào)試,即可測試和驗證相關(guān)模型調(diào)用。
在本地 IDE 中驗證模型調(diào)用:
您可以選擇在 Chatbox 等其他第三方平臺中驗證和引用模型調(diào)用,以下以 chatbox 為例:
您可以自主切換至 deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/14B/32B 或其他參數(shù)模型。
同時,Cap 模型部署也支持多種模型部署能力,您可根據(jù)業(yè)務(wù)自行配置相關(guān)信息。
方式2 : 應(yīng)用模版部署
實現(xiàn) DeepSeek-R1 模型 + OpenWebUI 部署。
點擊如下鏈接新建項目:
https://cap.console.aliyun.com/projects
搜索 “DeepSeek” ,點擊 “基于 DeepSeek-R1 構(gòu)建AI聊天助手” 模版并部署。
選擇 Region 并部署應(yīng)用。
部署過程大約持續(xù) 10 分鐘左右。
部署完畢后,點擊 OpenWebUI 服務(wù),在訪問地址內(nèi)找到“公網(wǎng)訪問”。
在 OpenWebUI 界面驗證 DeepSeek 模型對話。
文章轉(zhuǎn)載自:0代碼!2種方式一鍵部署 DeepSeek 系列模型
PixverseAI互動功能(HUG)在AI擁抱視頻生成中的應(yīng)用
阿里云百煉平臺的全面解析
國家超算互聯(lián)網(wǎng)平臺 網(wǎng)址:探索高效計算的新時代
英偉達(dá) A800:高性能計算與 AI 的先鋒
國家超算互聯(lián)網(wǎng)平臺上線:推動AI技術(shù)與應(yīng)用的新時代
英偉達(dá)AI的未來:在馬來西亞的投資機會與策略
國家超算互聯(lián)網(wǎng)平臺:探索未來的AI算力
Deepgram API 價格:探索高效語音轉(zhuǎn)文字解決方案
Lovo AI API 文本轉(zhuǎn)語音:解鎖語音合成的無限可能