一、向量是什么？

向量定義：向量是一組有序的數字（標量），用于在多維空間中表示數據點或特征。這些數字構成了一個列表或數組，其中每個元素對應于一個特定的維度。

向量正逐步嶄露頭角，有望成為AI時代的數據交換標準，類似于互聯網時代廣泛使用的JSON（JavaScript Object Notation）。

• 數據表示：在AI中，各種類型的數據（如文本、圖像、聲音）經常被轉換為向量形式，以便進行處理和分析。
• 特征提取：向量中的每個元素可以代表數據的一個特征，如圖像的像素強度或文本的語義屬性。
• 模型參數：在機器學習中，模型的參數（如權重和偏差）通常以向量的形式表示，并通過優化算法進行訓練。
• 有序性：向量中的元素是有序排列的，每個位置對應一個特定的維度。
• 可運算性：向量支持各種數學運算，如加法、減法、點積等，這些運算在AI算法中廣泛應用。
• 維度：向量的維度（即元素的數量）可以根據任務和數據類型的不同而變化，可以是二維、三維或更高維度。

向量是Encoder-Decoder的橋梁：將現實問題轉化為數學問題，通過求解數學問題來得到現實世界的解決方案。

Encoder （編碼器）：“將現實問題轉化為數學問題”

Decoder （解碼器）：“求解數學問題，并轉化為現實世界的解決方案”

二、向量從哪來？

向量轉換過程：非結構化數據轉換成向量的過程稱為 Embedding（嵌入）。通過深度學習的訓練，可以將真實世界數字化后的離散特征提取出來，投影到數學空間上，成為一個數學意義上的向量，同時很神奇的保留著通過向量之間的距離表示語義相似度的能力。

Embedding 的過程：

1. 數據準備：首先，需要收集和處理非結構化數據，如文本、圖像或聲音。對于文本數據，可能需要進行分詞、去除停用詞等預處理步驟。
2. 模型選擇：選擇一個適合任務的神經網絡模型，如Word2Vec、BERT（對于文本），或卷積神經網絡（對于圖像）。
3. 訓練過程：通過大量數據訓練神經網絡模型。在訓練過程中，模型學習將輸入的非結構化數據映射到低維向量空間，同時優化損失函數以保留數據間的相似性。
4. 向量提取：訓練完成后，模型可以將任何輸入的非結構化數據轉換為向量。這些向量捕捉了數據的語義信息，使得相似的輸入具有相近的向量表示。

向量檢索：向量相關的工程技術里最核心的當然是向量檢索算法，即如何在海量向量里找到跟目標向量最相似的 K 個，又叫 topK。

1. 暴力檢索（Brute-force Search）

• 算法描述：暴力檢索是一種最直觀的向量檢索方法。對于給定的查詢向量，它會計算該向量與數據庫中所有向量的相似度，然后返回相似度最高的K個向量作為結果。
• 優點：簡單易懂，易于實現。
• 缺點：當數據庫向量數量非常大時，計算量大，檢索速度慢。

2. 基于樹的檢索算法（Tree-based Search Algorithms）

2.1 KD樹（KD-tree）

• 算法描述：KD樹是一種分割k維數據空間的數據結構，常用于多維空間中的點搜索。在向量檢索中，KD樹可用于快速查找與查詢向量相近的向量。
• 優點：對于低維數據，檢索效率高。
• 缺點：對于高維數據，由于“維數災難”，性能可能會急劇下降

2.2 球樹（Ball-tree）

• 算法描述：球樹是另一種基于樹結構的向量檢索算法，它使用超球體來劃分數據空間，而不是像KD樹那樣使用超平面。
• 優點：對于高維數據，球樹通常比KD樹更有效。
• 缺點：構建和維護球樹可能比KD樹更復雜。

3. 最近鄰搜索算法（Nearest Neighbor Search Algorithms）

3.1 ANN（Approximate Nearest Neighbor）

• 算法描述：ANN算法是一類近似最近鄰搜索算法的統稱，它們的目標是在犧牲一定精度的情況下，顯著提高檢索速度。常見的ANN算法有FLANN、FAISS等。
• 優點：檢索速度快，適用于大規模數據集。
• 缺點：結果是近似的，可能不是絕對的最近鄰。

三、向量用到哪里去？

向量數據庫：一個典型的基于向量數據庫的應用框圖可以表示如下：

基于向量數據庫的應用框圖

步驟一：生成向量嵌入

• 使用嵌入模型（如深度學習）將原始數據（文本、圖像等）轉換為多維向量。
• 這些向量捕捉數據的語義特征，使相似數據在向量空間中相互靠近。

步驟二：存儲與索引

• 將生成的向量嵌入存儲在專門的向量數據庫中。
• 數據庫為高效檢索建立索引，并保留對原始數據的引用。

步驟三：查詢與相似性匹配

• 當有新查詢時，使用相同的嵌入模型將其轉換為向量。
• 在數據庫中搜索與查詢向量最相似的向量嵌入。
• 返回相似向量對應的原始數據作為查詢結果。

提示詞工程：大模型應用離不開提示詞工程。提示詞工程怎么做呢？主要就是為大模型整理一個資料庫，然后在訪問流程上，先從海量資料庫里找到最匹配的內容，拼接提示詞來增強回答，本質上就是一個搜索引擎。

LangChain+ Embedding+ 向量數據庫構建提示詞工程是指結合LangChain+（一個假設的或特定的NLP框架/工具）的文本處理能力和Embedding技術（將文本或其他數據轉換為向量的方法），以及向量數據庫的高效存儲和檢索能力，來構建和優化基于提示詞的AI系統。構建此類工程時可能涉及的關鍵步驟和組件如下：

1. LangChain+ 文本處理

• 文本理解：利用LangChain+的NLP功能來理解和分析輸入文本，提取關鍵信息和上下文。
• 文本生成：根據用戶輸入或系統需求，生成自然、相關且有用的文本響應。

2. Embedding 技術

• 詞嵌入：將文本中的單詞或短語轉換為高維空間的向量表示，捕捉語義和語法關系。
• 句子嵌入：將整個句子或段落轉換為向量，用于更高級別的文本比較和檢索。
• 預訓練模型：利用預先在大規模語料庫上訓練的模型（如BERT、GPT等）來獲取高質量的嵌入向量。

3. 提示詞工程設計

• 提示詞定義：明確提示詞在系統中的作用，例如引導文本生成、觸發特定功能等。
• 模板設計：創建可復用的提示詞模板，以適應不同的應用場景和用戶輸入。
• 動態生成：根據實時上下文和用戶反饋，動態生成和調整提示詞。

4. 向量數據庫構建與管理

• 數據庫選擇：選擇合適的向量數據庫系統，以支持高效存儲和快速檢索大量嵌入向量。
• 數據索引：為嵌入向量創建索引，以加速查詢和匹配過程。
• 性能優化：通過調整數據庫參數、使用近似查詢算法等方式優化系統性能。

5. 系統集成與測試

• 組件集成：將LangChain+、Embedding技術和向量數據庫無縫集成到一個統一的系統中。
• 功能測試：驗證系統的各項功能是否按預期工作，包括文本處理、嵌入生成、提示詞生成和數據庫操作等。
• 性能測試：評估系統在不同負載和數據規模下的性能表現，確保滿足生產環境的要求。

文章轉自微信公眾號@架構師帶你玩轉AI

#你可能也喜歡這些API文章!

使用這些基本 REST API 最佳實踐構建出色的 API

如何使用API：初學者的分步教程

使用NestJS和Prisma構建REST API：身份驗證