2 輕量極速免費

以上個人知識庫軟件,滿足以下要求:

1) 輕量。無需向量數據庫,對電腦性能要求降到最低;

2) 極速。在保證查詢性能、AI回答效果前提下,做到盡可能的快。

3) 免費。方案包括的所有工具全部開源,不用花一分錢。

3 設計方案和效果展示

基于以上三個要求,設計方案如下:

  1. 查詢選型whoosh。之前文章也有介紹,最大特點輕量、開源、性能夠好。
  2. 大模型配置靈活,選擇DeepSeek-r1:1.5b,最新發布的推理模型,選擇1.5b尺寸,回復極速,回答效果夠好。效果下面會有證明。

總結來說:whoosh(本地查詢快) + DeepSeek-r1:1.5b(回答極速、效果還有保證)

whoosh(本地查詢快) ,快到什么程度,20頁的PDF,按關鍵詞查詢能在ms級;

DeepSeek-r1:1.5b(回答極速、效果還有保證),極速到什么程度,我的電腦是m1,會話第一次拿到回復秒(s)級。

下面是GIF動畫,受限公眾號GIF幀數限制,只能錄制有限幀,整個動畫無任何加速,全部原始速度,大家重點看下回復延時,是否在秒級以內:

當輸入關鍵詞,并點擊搜索后,會先從自己的知識庫中搜索匹配文件,然后打包命中處的上下文,自動發送到Deepseek-r1:1.5b.

下圖是回復完成后的部分截圖,deepseek-r1:1.5b的回復效果很不錯,回復包括兩部分:思考過程+正式回答,如下兩個紅色文本框所示:

這兩天我主要對之前已實現代碼,做了如下改進:

1)whoosh查詢邏輯優化升級,對中文查詢輸入更加友好;

2) 調整為DeepSeek-r1:1.5b模型及實現邏輯;

3)調整PDF讀取方案及對應邏輯;

4) 調整為純本地執行的桌面軟件

下一步軟件開發功能包括:

1) 支持任意網頁抓取到本地+自動大模型分析

2)whoosh查詢邏輯之分詞組合配置查詢

目前此軟件全部開源,在下面公眾號回復:知識庫,獲取軟件代碼:

再介紹下最近DeepSeek-r1模型,得分上看300多b的r1模型推理已超越o1,推理代表大模型的聰明程度,所以在社區內引起廣泛關注:

它是怎么做到的?有哪些創新?主要三點:

1)冷啟動數據與多階段訓練。使用冷啟動數據(設計良好的長鏈式思維數據)對基礎模型進行初步微調,為后續的強化學習(RL)奠定更穩定的基礎。

2)強化學習驅動的推理優化。應用以目標為導向的 RL(如語言一致性獎勵)增強推理能力,通過規則化獎勵機制避免獎勵黑箱問題,提升任務準確率和用戶體驗 。

3)蒸餾技術擴展能力。將大型模型的推理能力高效蒸餾到小型稠密模型上,實現高性能與計算效率的平衡。

最后總結

本地搭建個人知識庫方案基于 Whoosh(本地查詢極速)和 DeepSeek-r1:1.5b(回答迅速效果好),實現輕量、極速、免費。具體以下三點:

1)輕量高效:基于 Whoosh 實現毫秒級關鍵詞查詢,無需向量數據庫,適合本地運行。

2)極速響應:結合 DeepSeek-r1:1.5b 大模型,實現秒級 AI 回復,兼顧速度與效果。

3)免費開源:所有工具均為開源軟件,無需額外費用,適合個人和企業本地知識管理。

文章轉載自: DeepSeek接入個人知識庫,一般電腦也能飛速跑,確實可以封神了!

上一篇:

DeepSeek接入Python,一般電腦也能飛速跑,確實可以封神了!

下一篇:

用 DeepSeek 做 AI 古詩詞視頻
#你可能也喜歡這些API文章!

我們有何不同?

API服務商零注冊

多API并行試用

數據驅動選型,提升決策效率

查看全部API→
??

熱門場景實測,選對API

#AI文本生成大模型API

對比大模型API的內容創意新穎性、情感共鳴力、商業轉化潛力

25個渠道
一鍵對比試用API 限時免費

#AI深度推理大模型API

對比大模型API的邏輯推理準確性、分析深度、可視化建議合理性

10個渠道
一鍵對比試用API 限時免費