論文地址：https://arxiv.org/pdf/2311.09210.pdf

      檢索增強語言模型（RALM）已成為自然語言處理中一種強大的新范式。通過將大型預訓練語言模型與外部知識檢索相結合，RALM可以減少事實錯誤和幻覺，同時注入最新知識。然而，目前的RALM面臨以下幾個關鍵挑戰：

? ? ? ?為了解決這些問題，騰訊人工智能實驗室的研究人員在他們的論文《CHAIN-OF-NOTE: ENHANCING ROBUSTNESS IN RETRIEVAL-AUGMENTED LANGUAGE MODELS》中提出了一個新的框架，稱為筆記鏈（CON）。

一、筆記鏈概述

       筆記鏈的關鍵思想是通過對檢索到的每個文檔進行總結和評估，讓模型生成閱讀筆記，然后再生成最終的回應。此記錄過程可以增強模型的以下能力：

具體而言，給定一個問題和k個檢索到的文檔，“筆記鏈”會進行如下操作：

       這種方法反映了人類的推理——將問題分解為更小的步驟。筆記為模型的思維過程提供了透明度，并提高了其噪聲和未知穩健性。

二、閱讀筆記的類型

筆記鏈生成的筆記可分為三類：

  1. 相關（Relevant）：文檔可以直接回答問題，最終的回復只來自該文檔；
  2. 無關但有用的上下文（Irrelevant but useful context）：文檔沒有回答問題，但提供了有用的背景。該模型將其知識與上下文相結合可以推斷出答案；
  3. 無關（Irrelevant）：文檔是無關的，模型缺乏知識來回答。默認響應為“未知”。

? ? ? ?該系統允許模型在直接檢索信息、進行推斷和承認其局限性之間取得平衡。

三、筆記示例

       筆記鏈（CON）框架根據檢索到的文檔與輸入問題的相關性生成三種類型的閱讀筆記。以下是每種類型的筆記的示例：

3.1 類型1——直接回答：

輸入問題：“法國首都是什么？”

檢索文件：一篇討論法國各個城市的文章。

生成的筆記：“正如文章中所提到的，法國的首都是巴黎?！?/p>

最后回應：“法國首都是巴黎。”

3.2 類型2——有用上下文：

輸入問題：“光合作用是如何工作的？”

檢索文件：解釋植物生物學基礎的文本，不直接涉及光合作用。

生成筆記：“雖然該文件沒有直接解釋光合作用，但它提供了有關植物生物學的有用信息，表明光合作用是植物將光轉化為能量的過程?！?/p>

最后回應：“光合作用是植物將光轉化為能量的過程，包括葉綠素對光的吸收以及二氧化碳和水轉化為葡萄糖和氧氣?！?/p>

3.3 類型3——無關或未知：

輸入問題：“量子計算的最新進展是什么？”

檢索文檔：一篇討論經典計算技術的文章。

生成的筆記：“檢索到的文檔不包括量子計算，而是專注于經典計算技術。該模型缺乏足夠的信息來根據此文檔進行回答?！?/p>

最終回應：“未知，因為現有文件沒有提供量子計算最新進展的相關信息?！?/p>

       這些例子說明了CON框架如何處理不同類型的文檔：直接使用相關文檔中的信息，從上下文有用的文檔中推斷答案，并承認知識或無關信息中的差距。

四、訓練模型

為了訓練一個模型來生成閱讀筆記，騰訊團隊執行如下步驟：

五、評估筆記鏈

在幾個QA數據集的實驗表明：

六、個案研究

讓我們通過一個示例來了解筆記鏈的作用：

問題：《死侍2》是什么時候上映的？

文檔1：討論2018年6月1日在美國上映的《死侍2》。

文檔2：提及《死侍2》于2018年5月10日首播，日期變更后于2018年8月18日上映。

標準RALM:2018年6月1日?

帶筆記鏈的RALM：

文檔1筆記：猜測《死侍2》于2018年6月1日在美國上映。

文檔2筆記：明確實際發布日期為2018年5月18日。

回復：根據Doc 2，答案為2018年5月18日?

      這展示了筆記鏈如何仔細分析文件，并確定最相關、最可信的細節，以產生正確的回應。

七、關鍵要點

參考文獻：

[1] https://ai.plainenglish.io/unlocking-the-black-box-how-chain-of-note-brings-transparency-to-retrieval-augmented-models-rag-ae1ebb007876

[2]?https://arxiv.org/pdf/2311.09210.pdf、

本文章轉載微信公眾號@ArronAI

上一篇：

LLM之Prompt（四）| OpenAI、微軟發布Prompt技術報告

下一篇：

LLM之RAG理論（二）| RAG綜述論文詳解
#你可能也喜歡這些API文章!

我們有何不同？

API服務商零注冊

多API并行試用

數據驅動選型，提升決策效率

查看全部API→
??

熱門場景實測，選對API

#AI文本生成大模型API

對比大模型API的內容創意新穎性、情感共鳴力、商業轉化潛力

25個渠道
一鍵對比試用API 限時免費

#AI深度推理大模型API

對比大模型API的邏輯推理準確性、分析深度、可視化建議合理性

10個渠道
一鍵對比試用API 限時免費