LlamaIndex，也被稱為GPT Index，是一個(gè)為大語(yǔ)言模型（LLM）設(shè)計(jì)的數(shù)據(jù)框架，于2023年1月29日正式發(fā)布。LlamaIndex的出現(xiàn)為L(zhǎng)LM應(yīng)用程序提供了一個(gè)強(qiáng)大的平臺(tái)，通過(guò)連接到不同的數(shù)據(jù)源，幫助用戶攝取、構(gòu)建和訪問(wèn)私有或特定領(lǐng)域的數(shù)據(jù)。LlamaIndex在Python和Typescript中均可使用，為用戶提供了一種自然語(yǔ)言與數(shù)據(jù)交互的方式。雖然LLM已經(jīng)在大量公開(kāi)數(shù)據(jù)上進(jìn)行了預(yù)訓(xùn)練，但LlamaIndex通過(guò)將用戶的私有數(shù)據(jù)與現(xiàn)有的LLM相結(jié)合，實(shí)現(xiàn)了數(shù)據(jù)的增強(qiáng)處理和索引管理。

LlamaIndex有什么幫助?

LlamaIndex為用戶提供了多個(gè)關(guān)鍵工具：

• 數(shù)據(jù)連接器：幫助用戶從API、PDF、SQL等不同源和格式中攝取數(shù)據(jù)。
• 數(shù)據(jù)索引：將數(shù)據(jù)結(jié)構(gòu)化為中間表示形式，便于LLM的高效使用。
• 引擎：提供自然語(yǔ)言訪問(wèn)接口，包括查詢引擎用于知識(shí)檢索，聊天引擎用于與數(shù)據(jù)對(duì)話。
• 數(shù)據(jù)代理：通過(guò)工具和API增強(qiáng)LLM的功能，充當(dāng)知識(shí)工作者。
• 應(yīng)用程序集成：與LangChain、Flask、Docker、ChatGPT等生態(tài)系統(tǒng)無(wú)縫連接。

通過(guò)這些工具，LlamaIndex不僅簡(jiǎn)化了數(shù)據(jù)處理流程，還提升了LLM的適用性和效率。

核心原理

LlamaIndex的核心在于通過(guò)索引和搜索的方式實(shí)現(xiàn)數(shù)據(jù)的高效查詢和處理。首先，它為外部數(shù)據(jù)庫(kù)建立索引，然后在用戶提問(wèn)時(shí)從這些數(shù)據(jù)庫(kù)中搜索相關(guān)信息，最后利用AI的語(yǔ)義理解能力生成答案。在索引和搜索階段，可以使用OpenAI的嵌入接口，也可以選擇其他大語(yǔ)言模型的嵌入方法。LlamaIndex的獨(dú)特之處在于，它不僅限于文本索引，還支持將圖片轉(zhuǎn)換為文本進(jìn)行索引，實(shí)現(xiàn)多模態(tài)功能。

LlamaIndex的安裝

安裝

安裝LlamaIndex非常簡(jiǎn)單，只需使用Pip命令即可完成安裝：

pip install llama-index
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple llama-index
pip install -i https://mirrors.aliyun.com/pypi/simple llama-index llama-index-core
pip install -i https://mirrors.aliyun.com/pypi/simple -qU llama-index llama-index-core

這些命令可以幫助用戶在不同的Python環(huán)境下快速安裝LlamaIndex及其核心組件。

使用方法

在Python中使用LlamaIndex有兩種主要方式：

• 入門版：安裝llama-index包，包含核心功能和部分集成。
• 定制版：安裝llama-index-core包，并根據(jù)需要添加特定的LlamaIndex集成包。

LlamaIndex提供了豐富的集成選項(xiàng)，用戶可以根據(jù)應(yīng)用需求選擇合適的插件和集成包。

使用 OpenAI 構(gòu)建一個(gè)簡(jiǎn)單的向量存儲(chǔ)索引

import os
os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
documents = SimpleDirectoryReader("YOUR_DATA_DIRECTORY").load_data()
index = VectorStoreIndex.from_documents(documents)

上述代碼展示了如何使用OpenAI的API密鑰構(gòu)建一個(gè)簡(jiǎn)單的向量存儲(chǔ)索引，便于后續(xù)的數(shù)據(jù)查詢和處理。

使用非 OpenAI 的 LLM 構(gòu)建索引

import os
os.environ["REPLICATE_API_TOKEN"] = "YOUR_REPLICATE_API_TOKEN"
from llama_index.core import Settings, VectorStoreIndex, SimpleDirectoryReader
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.replicate import Replicate
from transformers import AutoTokenizer

llama2_7b_chat = "meta/llama-2-7b-chat:8e6975e5ed6174911a6ff3d60540dfd4844201974602551e10e9e87ab143d81e"
Settings.llm = Replicate(
    model=llama2_7b_chat,
    temperature=0.01,
    additional_kwargs={"top_p": 1, "max_new_tokens": 300},
)
Settings.tokenizer = AutoTokenizer.from_pretrained(
    "NousResearch/Llama-2-7b-chat-hf"
)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)
documents = SimpleDirectoryReader("YOUR_DATA_DIRECTORY").load_data()
index = VectorStoreIndex.from_documents(
    documents,
)
query_engine = index.as_query_engine()
query_engine.query("YOUR_QUESTION")
index.storage_context.persist()

以上代碼演示了如何使用托管在Replicate上的Llama 2構(gòu)建索引。

LlamaIndex的案例應(yīng)用

基礎(chǔ)用法

5行代碼來(lái)高效地查詢指定文件內(nèi)你所需的內(nèi)容

1. 第一步，下載數(shù)據(jù)：從指定網(wǎng)址下載Paul Graham的文本，并將其保存到數(shù)據(jù)文件夾中。

2. 第二步，設(shè)置您的OpenAI API密鑰：將API密鑰設(shè)置為環(huán)境變量，以便代碼訪問(wèn)。

3. 第三步，加載數(shù)據(jù)并構(gòu)建索引：

from llama_index import VectorStoreIndex, SimpleDirectoryReader
documents = SimpleDirectoryReader('data').load_data()
index = VectorStoreIndex.from_documents(documents)

4. 第四步，查詢您的數(shù)據(jù)：創(chuàng)建一個(gè)查詢引擎并詢問(wèn)問(wèn)題。

query_engine = index.as_query_engine()
response = query_engine.query("作者在成長(zhǎng)過(guò)程中做了什么？")
print(response)

5. 第五步，使用日志查看查詢和事件：通過(guò)添加日志代碼，可以跟蹤查詢過(guò)程。

import logging
import sys

logging.basicConfig(stream=sys.stdout, level=logging.DEBUG)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

6. 第六步，存儲(chǔ)您的索引：將索引持久化到磁盤(pán)以避免重復(fù)計(jì)算。

index.storage_context.persist()

進(jìn)階用法

使用LlamaIndex構(gòu)建和查詢本地文檔索引

LlamaIndex不僅適用于簡(jiǎn)單的查詢，還支持復(fù)雜的本地索引構(gòu)建和查詢，通過(guò)與ChatGPT接口結(jié)合，用戶可以設(shè)計(jì)出功能強(qiáng)大的RAG系統(tǒng)，實(shí)現(xiàn)對(duì)本地文檔的高效索引和查詢。

FAQ

1. 問(wèn)：LlamaIndex是什么？

   • 答：LlamaIndex是一個(gè)為大語(yǔ)言模型（LLM）設(shè)計(jì)的數(shù)據(jù)框架，用于攝取、構(gòu)建和訪問(wèn)私有或特定領(lǐng)域的數(shù)據(jù)。

2. 問(wèn)：如何安裝LlamaIndex？

   • 答：可以通過(guò)Pip命令進(jìn)行安裝，例如pip install llama-index。

3. 問(wèn)：LlamaIndex的核心功能是什么？

   • 答：LlamaIndex提供數(shù)據(jù)連接器、數(shù)據(jù)索引、自然語(yǔ)言查詢接口以及與生態(tài)系統(tǒng)的集成功能。

4. 問(wèn)：LlamaIndex支持哪些編程語(yǔ)言？

   • 答：LlamaIndex支持Python和Typescript。

5. 問(wèn)：LlamaIndex與OpenAI接口如何結(jié)合使用？

   • 答：通過(guò)提供OpenAI API密鑰，LlamaIndex可以構(gòu)建基于OpenAI的向量存儲(chǔ)索引，實(shí)現(xiàn)高效的數(shù)據(jù)查詢。