GraphRAG：基于PolarDB+通義千問api+LangChain的知識圖譜定制實踐
1.3 進入PAI NotebookGallery
登錄PAI控制臺。
在左側導航欄中，選擇快速開始>NotebookGallery。
在Notebook Gallery頁面，單擊進入“LLaMA Factory多模態微調實踐：微調Qwen2-VL構建文旅大模型”教程。
在詳情頁面，您可查看到預置的LLaMA Factory多模態微調實踐：微調Qwen2-VL構建文旅大模型教程，單擊右上角的在DSW中打開。
在請選擇對應實例對話框中，單擊新建DSW實例。
1.4 創建PAI-DSW實例
在配置實例頁面，自定義輸入實例名稱，例如DSW_LlamaFactory。
說明：
GPU推薦使用 24GB 顯存的 A10（ecs.gn7i-c8g1.2xlarge）或更高配置。※ 支持免費試用的資源：
ecs.gn7i-c8g1.2xlarge、ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge
在配置實例頁面的選擇鏡像區域，請確認鏡像是否為官方鏡像的modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04。
在配置實例頁面，未提及的參數保持默認即可，單擊確認，創建實例。
請您耐心等待大約3分鐘左右，當狀態變為運行中時，表示實例創建成功，點擊打開NoteBook。
1.5 運行Notebook教程文件
安裝LLaMA Factory
根據教程指引，依次運行命令。
說明：單擊命令左側的運行?按鈕表示開始運行任務，當左側為?號時表明成功運行結束。
下載數據集
LLaMA-Factory 項目內置了豐富的數據集，放在了 data目錄下。您可以跳過本步驟，直接使用內置數據集。您也可以準備自定義數據集，將數據處理為框架特定的格式，放在 data 下，并且修改 dataset_info.json 文件。
本教程準備了一份多輪對話數據集，運行下述命令下載數據。
說明：單擊命令左側的運行?按鈕表示開始運行任務，當左側為?號時表明成功運行結束。
2.1 啟動 Web UI
單擊命令左側的運行?按鈕表示開始運行任務，當左側為?號時表明成功運行結束。
然后單擊返回的URL地址，進入Web UI頁面。
2.2 配置參數
進入 WebUI 后，可以切換語言到中文（zh）。首先配置模型，本教程選擇 Qwen2VL-2B-Chat 模型，微調方法修改為 full，針對小模型使用全參微調方法能帶來更好的效果。
數據集使用上述下載的 train.json。
可以點擊「預覽數據集」。點擊關閉返回訓練界面。
設置學習率為 1e-4，訓練輪數為 10，更改計算類型為 pure_bf16，梯度累積為 2，有利于模型擬合。
在其他參數設置區域修改保存間隔為 1000，節省硬盤空間。
2.3 啟動微調
將輸出目錄修改為 train_qwen2vl，訓練后的模型權重將會保存在此目錄中。點擊「預覽命令」可展示所有已配置的參數，您如果想通過代碼運行微調，可以復制這段命令，在命令行運行。
點擊「開始」啟動模型微調。
啟動微調后需要等待一段時間，待模型下載完畢后可在界面觀察到訓練進度和損失曲線。模型微調大約需要 14 分鐘，顯示“訓練完畢”代表微調成功。
選擇「Chat」欄，將檢查點路徑改為 train_qwen2vl，點擊「加載模型」即可在 Web UI 中和微調后的模型進行對話。
首先點擊下載測試圖片1或測試圖片2，并上傳至對話框的圖像區域，接著在系統提示詞區域填寫“你是一個導游，請生動有趣地回答游客提出的問題”。在頁面底部的對話框輸入想要和模型對話的內容，點擊提交即可發送消息。
發送后模型會逐字生成回答，從回答中可以發現模型學習到了數據集中的內容，能夠恰當地模仿導游的語氣介紹圖中的山西博物院。
點擊「卸載模型」，點擊檢查點路徑輸入框取消勾選檢查點路徑，再次點擊「加載模型」，即可與微調前的原始模型聊天。
重新向模型發送相同的內容，發現原始模型無法準確識別山西博物院。
文章轉自微信公眾號@阿里云開發者
