制定藍圖：什么樣的API策略能夠確保未來的成功？
開發人員想尋求一種可靠、可擴展且經濟高效的方式來構建生成式 AI 應用程序，并尋求一個可簡化實施和 LLM 選擇過程的平臺。
Elastic 一如既往地在以快速的創新步伐針對開發人員關注的這些問題提供解決方案，以支持生成式 AI 用例。
Elasticsearch 是市場上下載量最大的向量數據庫，Elastic 與 Lucene 社區的深度合作使我們能夠更快地為客戶設計和交付搜索創新。Elasticsearch 現在由?Lucene 9.10?提供支持，幫助客戶通過生成式 AI 實現速度和規模。借助 9.10，除了其他速度提升外，用戶還能夠在多分段索引時實現顯著的查詢延遲改善。這僅僅是開始，未來還會有更快的速度。
我們使用 Elastic 作為向量數據庫，因為它具有固有的靈活性、可擴展性和可靠性。Elastic 通過快速交付支持 Machine Learning 和生成式 AI 的新功能，不斷提升自己。
Peter O’Connor，Stack Overflow 平臺工程部工程經理
為了快速實施和擴展 RAG 工作負載，我們推出了?Elastic Learned Sparse EncodeR (ELSER)（已正式發布），這是一個易于部署、經過優化和后期交互的 Machine Learning (ML) 模型，適用于語義搜索。ELSER 無需微調即可提供上下文相關的搜索結果，并為開發人員提供內置的可信解決方案，從而免去了模型選擇、部署和管理所需的時間和復雜性。
ELSER 可提高搜索相關性，同時不會降低搜索速度 — Consensus 在使用 ELSER 升級由 Elastic 提供支持的學術研究平臺時，將搜索延遲降低了 75%，同時提高了準確性。
將 ELSER 與 E5 嵌入模型搭配使用，可以輕松應用多語言向量搜索。我們專門為 Elasticsearch 量身打造了優化的 E5 工件。多語言搜索還可通過上傳多語言模型或者與 Elastic 的推理 API（例如，Cohere 的多語言模型嵌入）集成來實現。這些功能進一步加速了檢索增強生成 (RAG)，使 Elastic 成為擴展您所構建的創新生成式 AI 體驗的關鍵基礎架構。
Elastic 還致力于高效擴展這些體驗。8.12 版本中隨附的標量量化改變了向量存儲的游戲規則。大規模的向量擴展會導致搜索速度變慢。但這種壓縮技術能夠將內存需求大幅縮減四倍，并幫助打包更多向量，并且在更高的尺度上，對召回的影響可以忽略不計。它將 RAG 中使用的向量搜索速度提高了一倍，同時不會犧牲精確度。結果如何？一個更精簡、更快速的系統，可大規模削減基礎架構成本。
當您將 Elastic 的準確性和速度與 Google Cloud 的強大功能相結合時，便可構建一個非常穩定且極具成本效益的搜索平臺，同時為用戶提供愉快的搜索體驗。
相關性是獲得最佳生成式 AI 體驗的關鍵。使用 ELSER 進行語義搜索和 BM25 進行文本搜索，是作為?LLM 上下文檢索相關文檔的第一步。大型上下文窗口可以使用重新排序工具進一步細化，這些工具目前已成為 Elastic Stack 的一部分。重新排序器應用功能強大的 ML 模型對搜索結果進行微調，根據用戶偏好和信號將最相關的結果置于頂部。Learning to Rank (LTR)?現在也是 Elasticsearch 平臺的原生功能。這對于依賴于將最相關的結果作為上下文提供給 LLM 的 RAG 用例來說非常強大。
可以通過推理 API 和第三方提供商（如 Cohere）進一步簡化實施。升級到我們的最新版本，以測試重新排序器對相關性的影響。
這些方法不僅能提高搜索準確性（以 Consensus 為例，提高了 30%），還能幫助您快速獲得結果，從而完善 RAG 相關性和高效管理 ML 工作流。
模型選擇就如同大海撈針。事實上，我們的開發人員調查顯示，各組織的前五項生成式 AI 工作之一就是與 LLM 集成。這種兩難選擇不僅僅局限于為某個用例選擇開放源還是閉源 LLM，還涉及準確性、數據安全性、領域特定性以及快速適應不斷變化的 LLM 生態系統。開發人員需要一個簡單明了的工作流程來嘗試新模型，并將它們換入和換出。
Elastic 通過其開放平臺、向量數據庫和搜索引擎支持轉換器和基礎模型。Elastic Learned Sparse EncodeR (ELSER)?是加速 RAG 實施的可靠起點。
此外，Elastic 的推理 API?可為開發人員簡化代碼和多云推理管理。無論您是使用 ELSER 還是來自 OpenAI（開發人員評估和使用最多的模型）、Hugging Face、Cohere 或其他來源的嵌入來處理 RAG 工作負載，都只需一個 API 調用即可確保管理混合推理部署的代碼簡潔干凈。利用推理 API，可以輕松訪問各種模型，從而找到合適的模型。與特定于領域的自然語言處理 (NLP) 和生成式 AI 模型的輕松集成簡化了模型管理，使您可以騰出時間專注于 AI 創新。
開發人員還可以托管各種不同的轉換器模型，包括公有和私有 Hugging Face 模型。Elasticsearch 可作為整個生態系統的通用向量數據庫，而偏愛?LangChain?和?LlamaIndex?等工具的開發人員則可以使用我們的集成，以使用?LangChain 模板快速啟動生產就緒的生成式 AI 應用。Elastic 的開放平臺使您可以快速調整、試驗和加速生成式 AI 項目。Elastic 最近還作為第三方向量數據庫加入了 On Your Data，這是一項用于構建會話式助手的新服務。另一個很好的示例是 Elastic 與 Cohere 團隊在幕后的合作，使 Elastic 成為?Cohere 嵌入的絕佳向量數據庫。
生成式 AI 正在重塑每一個組織，而 Elastic 將為這一轉型提供支持。對于開發人員而言，成功實現生成式 AI 的關鍵是持續學習（您見過?Elastic Search Labs?嗎？）并迅速適應不斷變化的 AI 環境。
更多可供學習的生成式AI：
本博文所描述的任何特性或功能的發布及上市時間均由 Elastic 自行決定。當前尚未發布的任何特性或功能可能無法按時提供或根本不會提供。
在本博文中，我們可能使用或提到了第三方生成式 AI 工具，這些工具由其各自所有者擁有和運營。Elastic 對第三方工具沒有任何控制權，對其內容、操作或使用不承擔任何責任或義務，對您使用此類工具可能造成的任何損失或損害也不承擔任何責任或義務。在 AI 工具中使用個人、敏感或機密信息時，請務必謹慎。您提交的任何數據都可能用于 AI 訓練或其他目的。Elastic 不保證您所提供信息的安全性或保密性。在使用任何生成式 AI 工具之前，您都應自行熟悉其隱私慣例和使用條款。
原文鏈接：加速生成式 AI 體驗 | Elastic Blog
