TruLens框架的核心原理

TruLens通過引入反饋函數（Feedback Function），以編程方式評估LLM應用的輸入、輸出和中間結果的質量。反饋函數就像是一個個的打分器，幫助我們判斷應用在哪些方面表現良好，哪些方面需要改進。以Groundedness評估為例，它通過對比Response和Context，判斷答案是否基于知識庫生成，實現更為準確的評價。

反饋函數的作用機制

1. 連接應用：通過API將TrulensApp連接到LLM應用，開始追蹤并記錄Query、Response和Context。
2. 打分機制：使用Groundedness Feedback函數，將Context和Response加載到提示詞模板中，通過模型打分來評估。
3. 結果展示：打分結果可以在TruLens的儀表板中查看，便于后續分析和優化。

主要評估方式的詳細介紹

在RAG知識問答項目中，TruLens提供了四種主要的評估方式：

基于知識的評估（Groundedness）

Groundedness評估主要用于檢測LLM的“幻覺”現象，即生成的回答是否真的基于知識庫中的信息。通過分析Response中的句子在Context中的存在證據，TruLens可以判斷回答的可靠性。

回答相關性評估（Answer Relevance）

Answer Relevance評估側重于判斷Response與Query的相關性。即便答案較長或較短，評估標準都應保持一致，確保答案的相關性和準確性。與問題相關的回答可獲得更高的得分。

知識召回相關性評估（Context Relevance）

Context Relevance評估用于判斷召回的知識是否與Query相關。通過對比召回內容與問題的匹配程度，TruLens能有效識別知識庫中的冗余信息，提升召回效率。

回答準確性評估（Groundtruth）

Groundtruth評估通過將Response與標準答案進行對比，評估答案的準確性。評分標準為1到10之間的整數，越接近正確答案得分越高。

實際使用方法與環境準備

使用TruLens進行評估測試非常簡單，只需按照以下步驟進行操作：

環境配置與工具安裝

1. 在AWS海外region部署RAG項目，確保環境中安裝aws cli和jupyter notebook。
2. 配置AWS IAM用戶的權限，確保能夠調用lambda和bedrock。
3. 下載測試腳本并運行，準備好測試集列表。

代碼實現和測試步驟

通過定義RAG_from_scratch類，連接RAG應用，并為函數添加裝飾器@instrument，以便記錄輸入輸出。使用Claude作為評估模型，定義反饋函數進行評估。

class RAG_from_scratch:
    @instrument
    def retrieve(self, query: str) -> list:
        results = self.call_remote_service(query, retrieve_only=True)
        return [result['doc'] for result in results]

啟動TruLens儀表盤

運行測試后，通過run_dashboard()生成鏈接，查看測試結果和詳細分數。

應用案例分析

在實際應用中，我們可以使用TruLens對不同版本的提示詞模板進行效果測試。例如，在對比Template v1和Template v2時，通過TruLens的得分明細，我們可以清晰地看到哪個版本的模板效果更佳。

總結與未來展望

TruLens為LLM應用提供了一種系統化的評估方法，能夠有效衡量應用的性能和質量，并跟蹤每次迭代后的改善情況。盡管在實驗中發現Claude v2模型在評估模型中的表現更加穩定，但TruLens仍需依賴LLM進行結果評估，因此可能存在個別評估結果偏差的情況。

未來，隨著TruLens的不斷發展和完善，我們將能夠更好地為LLM應用提供高效的評估和優化方案，推動人工智能技術的進一步落地。

FAQ

1. 問：TruLens主要適用于哪些場景？

   • 答：TruLens主要應用于LLM問答系統、聊天機器人、文檔摘要等場景，幫助開發者評估和優化模型的性能和質量。

2. 問：如何提升RAG項目的評估效果？

   • 答：可以通過增加測試集的豐富性，以及結合TruLens提供的多種評估方式，提升RAG項目的評估效果。

3. 問：TruLens是否支持本地化部署？

   • 答：TruLens主要依賴于云端服務，目前不支持在本地化環境中獨立部署。

4. 問：Claude v2和v2.1在評估中的差異在哪里？

   • 答：Claude v2在評估中更加穩定，而v2.1由于合規和安全性限制可能導致評估結果的不一致。

5. 問：如何確保評估結果的準確性？

   • 答：通過使用足夠豐富的測試集（>=30個問題），并結合多種評估方式，可以確保評估結果的準確性。