日本精品视频在线,久久99热精品这里,国产一区二区三区不卡在线观看

2 輕量極速免費(fèi)

以上個(gè)人知識(shí)庫(kù)軟件，滿足以下要求：

1) 輕量。無需向量數(shù)據(jù)庫(kù)，對(duì)電腦性能要求降到最低；

2) 極速。在保證查詢性能、AI回答效果前提下，做到盡可能的快。

3) 免費(fèi)。方案包括的所有工具全部開源，不用花一分錢。

3 設(shè)計(jì)方案和效果展示

基于以上三個(gè)要求，設(shè)計(jì)方案如下：

查詢選型whoosh。之前文章也有介紹，最大特點(diǎn)輕量、開源、性能夠好。
大模型配置靈活，選擇DeepSeek-r1:1.5b，最新發(fā)布的推理模型，選擇1.5b尺寸，回復(fù)極速，回答效果夠好。效果下面會(huì)有證明。

總結(jié)來說：whoosh(本地查詢快) + DeepSeek-r1:1.5b（回答極速、效果還有保證）

whoosh(本地查詢快) ，快到什么程度，20頁(yè)的PDF，按關(guān)鍵詞查詢能在ms級(jí)；

DeepSeek-r1:1.5b（回答極速、效果還有保證），極速到什么程度，我的電腦是m1，會(huì)話第一次拿到回復(fù)秒(s)級(jí)。

下面是GIF動(dòng)畫，受限公眾號(hào)GIF幀數(shù)限制，只能錄制有限幀，整個(gè)動(dòng)畫無任何加速，全部原始速度，大家重點(diǎn)看下回復(fù)延時(shí)，是否在秒級(jí)以內(nèi)：

當(dāng)輸入關(guān)鍵詞，并點(diǎn)擊搜索后，會(huì)先從自己的知識(shí)庫(kù)中搜索匹配文件，然后打包命中處的上下文，自動(dòng)發(fā)送到Deepseek-r1:1.5b.

下圖是回復(fù)完成后的部分截圖，deepseek-r1:1.5b的回復(fù)效果很不錯(cuò)，回復(fù)包括兩部分：思考過程+正式回答，如下兩個(gè)紅色文本框所示：

這兩天我主要對(duì)之前已實(shí)現(xiàn)代碼，做了如下改進(jìn)：

1）whoosh查詢邏輯優(yōu)化升級(jí)，對(duì)中文查詢輸入更加友好；

2) 調(diào)整為DeepSeek-r1:1.5b模型及實(shí)現(xiàn)邏輯；

3）調(diào)整PDF讀取方案及對(duì)應(yīng)邏輯；

4) 調(diào)整為純本地執(zhí)行的桌面軟件

下一步軟件開發(fā)功能包括：

1) 支持任意網(wǎng)頁(yè)抓取到本地+自動(dòng)大模型分析

2）whoosh查詢邏輯之分詞組合配置查詢

目前此軟件全部開源，在下面公眾號(hào)回復(fù)：知識(shí)庫(kù)，獲取軟件代碼：

再介紹下最近DeepSeek-r1模型，得分上看300多b的r1模型推理已超越o1，推理代表大模型的聰明程度，所以在社區(qū)內(nèi)引起廣泛關(guān)注：

它是怎么做到的？有哪些創(chuàng)新？主要三點(diǎn)：

1）冷啟動(dòng)數(shù)據(jù)與多階段訓(xùn)練。使用冷啟動(dòng)數(shù)據(jù)（設(shè)計(jì)良好的長(zhǎng)鏈?zhǔn)剿季S數(shù)據(jù)）對(duì)基礎(chǔ)模型進(jìn)行初步微調(diào)，為后續(xù)的強(qiáng)化學(xué)習(xí)（RL）奠定更穩(wěn)定的基礎(chǔ)。

2）強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的推理優(yōu)化。應(yīng)用以目標(biāo)為導(dǎo)向的 RL（如語言一致性獎(jiǎng)勵(lì)）增強(qiáng)推理能力，通過規(guī)則化獎(jiǎng)勵(lì)機(jī)制避免獎(jiǎng)勵(lì)黑箱問題，提升任務(wù)準(zhǔn)確率和用戶體驗(yàn) 。

3）蒸餾技術(shù)擴(kuò)展能力。將大型模型的推理能力高效蒸餾到小型稠密模型上，實(shí)現(xiàn)高性能與計(jì)算效率的平衡。