h视频在线免费,中文字幕亚洲综合,99久久国产综合精麻豆

由開(kāi)源的推理模型在推理性能上已能對(duì)標(biāo)正式版本。值班場(chǎng)景需要處理大量告警工單，借助實(shí)現(xiàn)智能告警處理：通過(guò)模型自動(dòng)識(shí)別告警信息，并基于歷史處置記錄生成合理建議。由于告警數(shù)據(jù)涉及核心業(yè)務(wù)機(jī)密，直接調(diào)用云端API存在安全隱患。同時(shí)考慮到告警類型動(dòng)態(tài)增加，且同類告警可能存在多種處置方案，最終確定以下技術(shù)路線：本地化部署模型：選擇支持開(kāi)源協(xié)議的Ollama框架，相較于閉源的LM Studio更符合數(shù)據(jù)管控要求；動(dòng)態(tài)知識(shí)庫(kù)構(gòu)建：采用技術(shù)實(shí)現(xiàn)實(shí)時(shí)知識(shí)更新。具體實(shí)施方案如下：通過(guò)Ollama本地部署DeepSeek-R1推理模型；使用AnythingLLM桌面版搭建RAG系統(tǒng)，其零代碼特性大幅降低實(shí)現(xiàn)門(mén)檻；建立歷史，支持增量更新處置方案。未來(lái)計(jì)劃通過(guò)提升系統(tǒng)穩(wěn)定性。

一、基于Ollama的DeepSeek-R1本地部署實(shí)踐

Ollama作為一款開(kāi)源的大模型管理框架，為AI大模型的本地化部署提供了完整的解決方案。它主要解決了以下兩個(gè)核心問(wèn)題：硬件配置與環(huán)境搭建:Ollama通過(guò)預(yù)置的優(yōu)化配置，自動(dòng)適配不同硬件環(huán)境，簡(jiǎn)化了CUDA、依賴庫(kù)等環(huán)境配置的復(fù)雜度。模型管理與服務(wù)部署:提供統(tǒng)一的模型管理接口，支持一鍵式模型下載與部署，極大降低了使用門(mén)檻。

Ollama的官網(wǎng)地址是官網(wǎng)，不需要魔法就能訪問(wèn)，下載速度也是一流，進(jìn)入官網(wǎng)點(diǎn)擊Download就能完成下載與安裝，如下圖所示。

具體安裝可參考這篇推文：在本地電腦部署自己的 DeepSeek 大模型 AI：小白也能輕松上手

二、基于AnythingLLM的RAG實(shí)現(xiàn)

RAG（檢索增強(qiáng)生成）在成功通過(guò)本地部署并開(kāi)放端口服務(wù)后，我們已經(jīng)具備了構(gòu)建RAG（Retrieval Augmented Generation，檢索增強(qiáng)生成）系統(tǒng)的基礎(chǔ)能力。在當(dāng)今成熟的大模型生態(tài)下，借助現(xiàn)有框架快速實(shí)現(xiàn)業(yè)務(wù)需求已成為主流開(kāi)發(fā)范式。本文將基于AnythingLLM框架實(shí)現(xiàn)RAG功能。RAG（檢索增強(qiáng)生成）是一種結(jié)合檢索和生成的技術(shù)，它在用戶提問(wèn)時(shí)，先從預(yù)先準(zhǔn)備的數(shù)據(jù)庫(kù)中搜索相關(guān)信息，并將檢索到的內(nèi)容注入到大模型中，提供給大模型進(jìn)行推理。這種方式相當(dāng)于為大模型補(bǔ)充外部知識(shí)，使其在回答問(wèn)題時(shí)能夠參考更準(zhǔn)確、相關(guān)的信息，從而提升回答的精準(zhǔn)度和可靠性。

RAG結(jié)合提示詞工程（Prompt Engineering）的工作流程，整體架構(gòu)如下：

訓(xùn)練數(shù)據(jù) & 領(lǐng)域數(shù)據(jù)
- 訓(xùn)練數(shù)據(jù)用于LLM（大模型）的預(yù)訓(xùn)練和微調(diào)，使其具備基本的推理和生成能力；
- 領(lǐng)域數(shù)據(jù)被索引到知識(shí)庫(kù)，為后續(xù)的查詢提供外部信息支持。
知識(shí)庫(kù) & 檢索器
- 用戶查詢被送入提示詞工程，解析任務(wù)、查詢和樣本信息；
- 檢索器負(fù)責(zé)從知識(shí)庫(kù)中搜索與查詢相關(guān)的文檔，獲取輔助信息。
增強(qiáng)提示詞 & 生成
- 搜索到的相關(guān)文檔被注入到原始提示詞中，形成一個(gè)更豐富、更完整的Prompt；
- 經(jīng)過(guò)增強(qiáng)的Prompt送入LLM，結(jié)合檢索到的信息進(jìn)行推理和生成。
返回結(jié)果
- LLM生成最終的回答，并返回給用戶，實(shí)現(xiàn)更精準(zhǔn)的問(wèn)答效果。

以上就是對(duì)RAG概念的一個(gè)簡(jiǎn)單介紹。毋庸置疑，想要從零實(shí)現(xiàn)一個(gè)RAG框架，勢(shì)必少不了一番折騰。幸運(yùn)的是，如今已有現(xiàn)成的解決方案可供使用——接下來(lái)要介紹的AnythingLLM。簡(jiǎn)而言之，AnythingLLM是一款A(yù)ll-In-One的AI應(yīng)用程序，支持在本地構(gòu)建AI知識(shí)庫(kù)，并打造屬于自己的智能Agent，讓RAG的實(shí)現(xiàn)變得更加輕松高效。

The all-in-one AI application. Any LLM, any document, any agent, fully private.

AnythingLLM支持的能力可以見(jiàn)Features，是絕對(duì)新手向友好的AI應(yīng)用程序，強(qiáng)烈建議大家下載來(lái)體驗(yàn)一下。

使用AnythingLLM構(gòu)建RAG應(yīng)用，只需要選定使用的大模型并上傳知識(shí)庫(kù)就行了，下面我們就一起來(lái)實(shí)現(xiàn)下。

下載并安裝AnythingLLM

請(qǐng)注意，建議選擇下載桌面版，相比于Ollama，AnythingLLM的下載速度會(huì)更慢。此外，在安裝過(guò)程中，系統(tǒng)會(huì)自動(dòng)安裝向量數(shù)據(jù)庫(kù)等必要組件，因此下載和安裝的時(shí)間通常以小時(shí)為單位，請(qǐng)耐心等待。安裝完成后，首次打開(kāi)時(shí)會(huì)有一個(gè)引導(dǎo)界面，隨意選擇即可，后續(xù)可以在設(shè)置中隨時(shí)重新調(diào)整配置。

配置大模型和向量數(shù)據(jù)庫(kù)
打開(kāi)進(jìn)入AnythingLLM后，在界面左下角打開(kāi)設(shè)置。

在人工智能提供商-LLM首選項(xiàng)中配置大模型為基于Ollama本地部署的DeepSeek-R1模型。

在人工智能提供商-向量數(shù)據(jù)庫(kù)中將向量數(shù)據(jù)庫(kù)配置為L(zhǎng)anceDB。

創(chuàng)建Workspace
點(diǎn)擊新工作區(qū)創(chuàng)建一個(gè)Workspace。

Workspace是配置知識(shí)庫(kù)的最小單元，支持獨(dú)立配置大模型和向量數(shù)據(jù)庫(kù)。若未進(jìn)行單獨(dú)配置，系統(tǒng)將默認(rèn)使用全局設(shè)置，即人工智能提供商-LLM首選項(xiàng)和人工智能提供商-向量數(shù)據(jù)庫(kù)中預(yù)設(shè)的大模型與向量數(shù)據(jù)庫(kù)。由于全局配置已完成，此處無(wú)需對(duì)Workspace進(jìn)行額外配置。

創(chuàng)建一個(gè)Thread開(kāi)啟聊天
開(kāi)始聊天之前需要先創(chuàng)建一個(gè)Thread。

default是默認(rèn)Thread。還記得本文要解決的問(wèn)題是什么嗎，就是我希望大模型可以根據(jù)上下文進(jìn)行回答，假設(shè)我一條告警關(guān)鍵數(shù)據(jù)如下所示。那么此時(shí)我如果直接問(wèn)大模型告警編碼為APPLICATION-SECURITY-AUTHORIZATION-ERROR-098的告警，大模型肯定會(huì)開(kāi)始自由發(fā)揮，例如我使用如下的Prompt。

大模型的回答如下。

可以明顯觀察到，即使是強(qiáng)大的大模型，在處理組內(nèi)告警這類高度定制化的場(chǎng)景時(shí)，也會(huì)出現(xiàn)“一本正經(jīng)地胡說(shuō)八道”的現(xiàn)象。這是因?yàn)榛竽Ｐ偷挠?xùn)練數(shù)據(jù)中并沒(méi)有這些數(shù)據(jù)，針對(duì)這種情況，通常有兩種解決方案：1. 人工標(biāo)注數(shù)據(jù)；2. 使用知識(shí)庫(kù)。在本方案中，我們選擇了使用知識(shí)庫(kù)。為Workspace添加知識(shí)庫(kù)
在為Workspace添加知識(shí)庫(kù)時(shí)，只需將在線文檔的網(wǎng)頁(yè)地址提供給AnythingLLM，系統(tǒng)會(huì)自動(dòng)將對(duì)應(yīng)地址的HTML文件向量化并存儲(chǔ)到向量數(shù)據(jù)庫(kù)中。除了網(wǎng)頁(yè)地址，知識(shí)庫(kù)的添加還支持多種文件格式，包括txt文本、csv文件以及音頻文件等。點(diǎn)擊Workspace中的以下按鈕即可打開(kāi)添加頁(yè)面：

添加頁(yè)面如下所示。

可以上傳文件，也可以指定網(wǎng)頁(yè)地址，成功添加的內(nèi)容會(huì)出現(xiàn)在My Documents欄目中，選中My Documents欄目中的內(nèi)容，點(diǎn)擊Move to Workspace可以將添加的內(nèi)容加入到當(dāng)前Workspace中。我這里已經(jīng)添加過(guò)了就不再添加了。最后點(diǎn)擊開(kāi)始向量化即可將選中內(nèi)容向量化。我添加的文件如下表所示。以下是基于提供的告警信息和告警示例。告警編碼是隨機(jī)生成的，告警描述和處置建議根據(jù)常見(jiàn)的運(yùn)維場(chǎng)景進(jìn)行搭配。

告警編碼	告警描述	處置建議	是否有效
NETWORK-LATENCY-001	網(wǎng)絡(luò)延遲過(guò)高	檢查網(wǎng)絡(luò)設(shè)備狀態(tài)，優(yōu)化網(wǎng)絡(luò)配置	有效
DISK-USAGE-002	磁盤(pán)使用率超過(guò)90%	清理磁盤(pán)空間或擴(kuò)展磁盤(pán)容量	有效
CPU-OVERLOAD-003	CPU使用率持續(xù)超過(guò)80%	檢查高負(fù)載進(jìn)程，優(yōu)化資源分配	有效

此時(shí)再使用相同Prompt詢問(wèn)大模型，得到的答案明顯靠譜多了。

隨著告警信息的越來(lái)越豐富，以及我們可以不斷調(diào)整Prompt做優(yōu)化，大模型最后給出的告警處置建議會(huì)越來(lái)越準(zhǔn)確。

總結(jié)

以上介紹了基于Ollama和AnythingLLM構(gòu)建RAG：

模型部署通過(guò)Ollama實(shí)現(xiàn)DeepSeek-R1的一鍵式本地部署，其開(kāi)箱即用的特性支持多種主流大模型；
RAG實(shí)現(xiàn)借助AnythingLLM框架，僅需配置大模型和向量數(shù)據(jù)庫(kù)即可快速搭建RAG系統(tǒng)；
生態(tài)價(jià)值降低AI應(yīng)用開(kāi)發(fā)門(mén)檻；支持私有化部署；提供可視化操作界面。

隨著AI技術(shù)的普及，掌握AI工具的使用正在成為開(kāi)發(fā)者的必備技能，其重要性不亞于傳統(tǒng)中間件技術(shù)。本方案為小團(tuán)隊(duì)快速構(gòu)建領(lǐng)域AI應(yīng)用提供了可行路徑，展現(xiàn)了AI技術(shù)落地的實(shí)際價(jià)值。