
國(guó)內(nèi)大模型排名詳解
下載,一步步安裝即可。
CMD命令窗口運(yùn)行,啟動(dòng)deepseek-r1模型:
ollama run deepseek-r1:7b
根據(jù)自己顯卡大小,選擇對(duì)應(yīng)的參數(shù)規(guī)模,1.5b最小,可以先用這個(gè)來(lái)嘗試,完成以后再跑更大的參數(shù)模型。
另外有人反饋,任務(wù)管理器顯示,大模型在執(zhí)行的時(shí)候,回答很慢,GPU幾乎沒動(dòng),全都是CPU在跑。
大概率是安裝了老版本的Ollama,官網(wǎng)下載最新的文件重新安裝即可。
網(wǎng)絡(luò)條件允許的話,直接谷歌商店搜索下載,下面介紹的方法國(guó)內(nèi)網(wǎng)絡(luò)可用。
打開網(wǎng)站Crx搜搜:
搜索:Page Assist,第一個(gè)就是今天主角,本地AI模型的Web UI。
下載到本地,谷歌瀏覽器打開:chrome://extensions/,右上角打開開發(fā)者模式,將下載好的crx文件拖入瀏覽器,完成插件的安裝。
瀏覽器上方的擴(kuò)展程序列表,找到Page Assist插件,點(diǎn)擊進(jìn)入WebUI界面。
左上角可以選擇ollama的所有本地模型,所以選deepseek-r1:7b就好了。
到這一步就可以流暢地使用deepseek大模型啦。
首次使用是英文版,不太習(xí)慣,點(diǎn)擊右上角設(shè)置齒輪,【General Settings】,分別選擇【簡(jiǎn)體中文】。
依然是右上角設(shè)置齒輪,【一般設(shè)置】,下方有個(gè)【管理網(wǎng)絡(luò)搜索】,選擇合適的搜索引擎,總搜索結(jié)果默認(rèn)是2,可以適當(dāng)調(diào)大一些,這樣參考網(wǎng)絡(luò)資源的權(quán)重更大。
記得點(diǎn)擊保存。
回到聊天頁(yè)面,打開聊天框下方的【搜索互聯(lián)網(wǎng)】開關(guān),聯(lián)網(wǎng)搜索功能就搞定啦。
比如問(wèn)一個(gè)關(guān)于《哪吒2》的評(píng)價(jià),除了看到思考過(guò)程,下方還有列出了引用的數(shù)據(jù)來(lái)源。
現(xiàn)在,完成了本地部署+聯(lián)網(wǎng)搜索,還差知識(shí)庫(kù)…
CMD窗口運(yùn)行命令:
ollama pull nomic-embed-text
回到設(shè)置,【RAG設(shè)置】,文本嵌入模型選擇【nomic-embed-text:latest】,保存。
文本嵌入模型的作用是,讓大模型理解我們的文本資料。
左側(cè)菜單【管理知識(shí)】,【添加新知識(shí)】,指定知識(shí)的標(biāo)題,并上傳我們的本地資料,提交。
這里的知識(shí),指的就是知識(shí)庫(kù),當(dāng)狀態(tài)是【已完成】,代表大模型已經(jīng)處理完成了。
回到聊天窗口,右下方就可以選到剛剛添加的知識(shí)庫(kù)。
提問(wèn):
DeepSeek-R1是什么?
本地大模型完美地回答了我們的問(wèn)題,知識(shí)庫(kù)搭建完成!
簡(jiǎn)單回顧一下,這次的方案:Ollama + Page Assist插件,沒有docker的復(fù)雜配置,而且完美地實(shí)現(xiàn)了本地部署+聯(lián)網(wǎng)搜索+知識(shí)庫(kù)。
文章轉(zhuǎn)載自:DeepSeek本地部署+知識(shí)庫(kù)+聯(lián)網(wǎng)搜索,終極版方案,保姆級(jí)教程!
對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力
一鍵對(duì)比試用API 限時(shí)免費(fèi)