深夜国产一区二区三区在线看,久久久精品成人免费看,亚洲国产成人久久综合一区77

接下來就有一下問題：如何合并這樣子查詢的答案呢？

簡單地說，我們可以將檢索到的文檔集連接起來，并在生成答案時將它們作為上下文提供給LLM。我們可能完全不知道我們展示檢索到的文檔的順序。或者，我們可以做得更好。

在LlamaIndex中提供了Sub Question Query Engine[2]來提升RAG檢索性能。對于每個檢索到的文檔集，都會生成相應(yīng)子問題的答案。然后，LLM會根據(jù)這些子答案，而不是檢索到的文檔本身，得出最終答案。

二、RAG-Fusion

RAG-Fusion[3]仍然將文檔作為上下文提供給LLM。首先，它根據(jù)每個文檔出現(xiàn)的回憶集數(shù)量對文檔進(jìn)行排序。這種技術(shù)被稱為Reciprocal Rank Fusion (RRF)。RRF假設(shè)：

與更多子問題相關(guān)的文檔更有助于回答原始查詢。（反例是一篇與每個問題都相關(guān)的通用文章，但不夠具體，無法為最終答案提供任何價值。）
LLM可以用更大的權(quán)重對排名靠前的結(jié)果進(jìn)行優(yōu)先級排序，而不是將列表視為無序集。

RRF允許人們通過不同的搜索方法來組合結(jié)果，這種模式通常被稱為“混合搜索”。

Azure AI Search[4]使用它來聚合來自傳統(tǒng)的逐字文本搜索和基于嵌入的矢量搜索的召回集。
還有一個例子是Obisidian-Copilot[5]，它是筆記應(yīng)用Obsidian[6]的一個插件，它將基于BM25的搜索（通過OpenSearch）與語義搜索相結(jié)合。
如果想自己實現(xiàn)一個，矢量數(shù)據(jù)庫提供商Pinecone有一個教程[7]可以參考。

提供給RRF的各種搜索方法的不同之處僅在于它們?nèi)绾蔚竭_(dá)它們的回憶集，而不是具有可供選擇的不相交的文檔集。至關(guān)重要的是，文檔首先必須有機(jī)會出現(xiàn)在單獨(dú)的回憶集中，然后才能通過相互出現(xiàn)來重新排序。

三、RAG-end2nd

RAG的一個主要優(yōu)勢是“不需要訓(xùn)練任何模型”，它可以使用現(xiàn)成的嵌入模型和LLM來構(gòu)建。

RAG-end2nd[8]提出了Dense Passage Retrieval（DPR；“RAG”中的“R”）方法，對編碼器（比如BERTs）進(jìn)行一些微調(diào)，性能超過BM25 25%。

四、LoRA

LoRA是大模型微調(diào)的技術(shù)之一，它來自論文《LoRA: Low-Rank Adaptation of Large Language Models》[9]，基本原理是凍結(jié)大模型參數(shù)，在原始模型中添加少量的可訓(xùn)練參數(shù)AB矩陣來適應(yīng)特定領(lǐng)域知識，由于微調(diào)的參數(shù)量較少，比較適合低資源的場景和用戶。