這種流程是極度依賴于基于相似度的向量檢索技術(shù),存在幾個核心問題:

對應(yīng)以上核心技術(shù)問題就會導(dǎo)致兩個很普遍的現(xiàn)象:

1.2 為什么要在RAG中引入知識圖譜?

知識圖譜是對現(xiàn)實世界實體及其關(guān)系的結(jié)構(gòu)化表示。它們由兩個主要部分組成:節(jié)點和邊。節(jié)點表示獨立的實體,例如人物、地點、物體或概念。而邊則表示節(jié)點之間的關(guān)系,表示它們?nèi)绾蜗嗷リP(guān)聯(lián)。

image

這種結(jié)構(gòu)使 LLM 能夠訪問精確且與上下文相關(guān)的數(shù)據(jù),從而極大地提高了其生成信息豐富答案的能力,其核心優(yōu)勢在于:

image

image

將知識圖譜(KG)引入 RAG 體系,就像為 AI 構(gòu)建了一張清晰的“知識地圖”。知識圖譜能夠表達實體之間的復(fù)雜關(guān)系,例如父子關(guān)系、朋友關(guān)系、因果關(guān)系等等,從而讓 AI 不僅能夠“查到”信息,更能夠“理解”信息之間的邏輯,給出更準確、更智能的答案。從依賴自身到檢索外部信息,再到利用知識圖譜進行深度理解。

image

1.3 圖譜+RAG需要考慮和關(guān)注的點

image

二、RAGFlow + GraphRAG+ 知識圖譜 + Deepseek 初步探索實踐

RAGFlow的V0.16.0版本以后對內(nèi)置的GraphRAG做了重構(gòu),并且目前支持輕量級別的LightRAG和GraphRAG兩種框架。GraphRAG利用圖結(jié)構(gòu)增強上下文關(guān)聯(lián)性,適用于醫(yī)療、法律等復(fù)雜領(lǐng)域,LightRAG則強調(diào)輕量化和高效,能夠顯著降低延遲和計算成本。這里做一個實踐記錄與分享,實踐略過了RAGFlow在window或者linux的安裝步驟,需要的話可以留言,后面可以補充再出一篇安裝教程。

image

2.1 配置模型供應(yīng)商

RAGFlow 支持大多數(shù)主流 LLM平臺,還支持使用?Ollama、Xinference 或 LocalAI 在本地部署 LLM,這里首先要添加并配置 LLM,點擊頁面右上角的徽標> 模特提供商:

image

每個 RAGFlow 帳戶都可以免費使用通義千問的嵌入模型text-embedding-v2,這里單擊你所擁有的 LLM平臺并相應(yīng)地更新 API 密鑰,deepseek也有:

image

如果是采用本地部署的模型的話,可以找到Ollama,配置對應(yīng)的embedding和chat模型,Ollama的基礎(chǔ)URL為:

image

配置好后的模型列表,可以從“添加了的模型”這里看到:

image

配置好后,打開系統(tǒng)模型設(shè)置,其中img2txt模型就是OCR模型:

image

2.2 配置知識庫

正確配置知識庫對于 AI 智能助手至關(guān)重要,選擇錯誤的嵌入模型或塊方法很容易導(dǎo)致聊天中出現(xiàn)意外的語義丟失或答案不匹配。

image

在知識庫配置中,RAGFlow 通過嵌入模型、解析方法、頁面排名、自動關(guān)鍵詞、自動問題、召回增強及 RAPTOR 策略等技術(shù),提升檢索和生成效果,其中:

image

2.3 配置知識圖譜方法

往下翻到知識圖譜部分,打開提取知識圖譜,實體類型可以就選默認的,然后方法選擇General,然后打開實體歸一化和社區(qū)報告生成,其中,實體類型是知識圖譜的重要組成部分。常見的實體類型包括:

image

實體歸一化是指將不同表達方式的實體統(tǒng)一為標準形式。例如,“馬云”可能在不同的文本中被表達為“Jack Ma”、“阿里巴巴創(chuàng)始人”等。實體歸一化的目的是確保知識圖譜中的實體具有唯一性和一致性,包括:

社區(qū)報告生成是 RAGFlow 中的一個重要功能,在這一步,區(qū)塊被聚集成層次化的社區(qū),實體和關(guān)系通過更高抽象層次將每個部分連接起來,它通過分析知識圖譜中的實體和關(guān)系,生成結(jié)構(gòu)化的報告。具體步驟包括:

2.4 建立知識圖譜

配置完數(shù)據(jù)庫后,上傳一條文件,然后點擊開始解析:

image

image

解析完后點擊刷新,左側(cè)會出現(xiàn)知識圖譜菜單,點擊進入查看建立好的知識圖譜,其中每個深色的圓圈代表一個實體,實體之間的連線代表實體之間存在的關(guān)系。

image

外圍淡色的圓圈代表實體組成的社區(qū):

image

2.5 基于圖譜+RAG的實踐效果測試

這里先來試一下檢索,這是沒有打開知識圖譜的檢索結(jié)果:

image

這是打開了知識圖譜的檢索結(jié)果:

image

然后,再測試一下,這個是沒有帶知識圖譜的回答效果:

image

原文轉(zhuǎn)載自:https://mp.weixin.qq.com/s/NJgBjKLIvjblsUjDa2yxmQ

上一篇:

Win11+CUDA 12.4+PyTorch+Anaconda+PyCharm 安裝與配置GPU版

下一篇:

TorchCodec: 用于 PyTorch 的視頻解碼庫
#你可能也喜歡這些API文章!

我們有何不同?

API服務(wù)商零注冊

多API并行試用

數(shù)據(jù)驅(qū)動選型,提升決策效率

查看全部API→
??

熱門場景實測,選對API

#AI文本生成大模型API

對比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力

25個渠道
一鍵對比試用API 限時免費

#AI深度推理大模型API

對比大模型API的邏輯推理準確性、分析深度、可視化建議合理性

10個渠道
一鍵對比試用API 限時免費