GraphRAG：基于PolarDB+通義千問api+LangChain的知識圖譜定制實踐
1.3 進入PAI NotebookGallery
登錄PAI控制臺。
在左側(cè)導航欄中，選擇快速開始>NotebookGallery。
在Notebook Gallery頁面，單擊進入“LLaMA Factory多模態(tài)微調(diào)實踐：微調(diào)Qwen2-VL構建文旅大模型”教程。
在詳情頁面，您可查看到預置的LLaMA Factory多模態(tài)微調(diào)實踐：微調(diào)Qwen2-VL構建文旅大模型教程，單擊右上角的在DSW中打開。
在請選擇對應實例對話框中，單擊新建DSW實例。
1.4 創(chuàng)建PAI-DSW實例
在配置實例頁面，自定義輸入實例名稱，例如DSW_LlamaFactory。
說明：
GPU推薦使用 24GB 顯存的 A10（ecs.gn7i-c8g1.2xlarge）或更高配置。※ 支持免費試用的資源：
ecs.gn7i-c8g1.2xlarge、ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge
在配置實例頁面的選擇鏡像區(qū)域，請確認鏡像是否為官方鏡像的modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04。
在配置實例頁面，未提及的參數(shù)保持默認即可，單擊確認，創(chuàng)建實例。
請您耐心等待大約3分鐘左右，當狀態(tài)變?yōu)檫\行中時，表示實例創(chuàng)建成功，點擊打開NoteBook。
1.5 運行Notebook教程文件
安裝LLaMA Factory
根據(jù)教程指引，依次運行命令。
說明：單擊命令左側(cè)的運行?按鈕表示開始運行任務，當左側(cè)為?號時表明成功運行結(jié)束。
下載數(shù)據(jù)集
LLaMA-Factory 項目內(nèi)置了豐富的數(shù)據(jù)集，放在了 data目錄下。您可以跳過本步驟，直接使用內(nèi)置數(shù)據(jù)集。您也可以準備自定義數(shù)據(jù)集，將數(shù)據(jù)處理為框架特定的格式，放在 data 下，并且修改 dataset_info.json 文件。
本教程準備了一份多輪對話數(shù)據(jù)集，運行下述命令下載數(shù)據(jù)。
說明：單擊命令左側(cè)的運行?按鈕表示開始運行任務，當左側(cè)為?號時表明成功運行結(jié)束。
2.1 啟動 Web UI
單擊命令左側(cè)的運行?按鈕表示開始運行任務，當左側(cè)為?號時表明成功運行結(jié)束。
然后單擊返回的URL地址，進入Web UI頁面。
2.2 配置參數(shù)
進入 WebUI 后，可以切換語言到中文（zh）。首先配置模型，本教程選擇 Qwen2VL-2B-Chat 模型，微調(diào)方法修改為 full，針對小模型使用全參微調(diào)方法能帶來更好的效果。
數(shù)據(jù)集使用上述下載的 train.json。
可以點擊「預覽數(shù)據(jù)集」。點擊關閉返回訓練界面。
設置學習率為 1e-4，訓練輪數(shù)為 10，更改計算類型為 pure_bf16，梯度累積為 2，有利于模型擬合。
在其他參數(shù)設置區(qū)域修改保存間隔為 1000，節(jié)省硬盤空間。
2.3 啟動微調(diào)
將輸出目錄修改為 train_qwen2vl，訓練后的模型權重將會保存在此目錄中。點擊「預覽命令」可展示所有已配置的參數(shù)，您如果想通過代碼運行微調(diào)，可以復制這段命令，在命令行運行。
點擊「開始」啟動模型微調(diào)。
啟動微調(diào)后需要等待一段時間，待模型下載完畢后可在界面觀察到訓練進度和損失曲線。模型微調(diào)大約需要 14 分鐘，顯示“訓練完畢”代表微調(diào)成功。
選擇「Chat」欄，將檢查點路徑改為 train_qwen2vl，點擊「加載模型」即可在 Web UI 中和微調(diào)后的模型進行對話。
首先點擊下載測試圖片1或測試圖片2，并上傳至對話框的圖像區(qū)域，接著在系統(tǒng)提示詞區(qū)域填寫“你是一個導游，請生動有趣地回答游客提出的問題”。在頁面底部的對話框輸入想要和模型對話的內(nèi)容，點擊提交即可發(fā)送消息。
發(fā)送后模型會逐字生成回答，從回答中可以發(fā)現(xiàn)模型學習到了數(shù)據(jù)集中的內(nèi)容，能夠恰當?shù)啬７聦в蔚恼Z氣介紹圖中的山西博物院。
點擊「卸載模型」，點擊檢查點路徑輸入框取消勾選檢查點路徑，再次點擊「加載模型」，即可與微調(diào)前的原始模型聊天。
重新向模型發(fā)送相同的內(nèi)容，發(fā)現(xiàn)原始模型無法準確識別山西博物院。
文章轉(zhuǎn)自微信公眾號@阿里云開發(fā)者
