1.3 進入PAI NotebookGallery

登錄PAI控制臺。

在左側導航欄中，選擇快速開始>NotebookGallery。

在Notebook Gallery頁面，單擊進入“LLaMA Factory多模態微調實踐：微調Qwen2-VL構建文旅大模型”教程。

在詳情頁面，您可查看到預置的LLaMA Factory多模態微調實踐：微調Qwen2-VL構建文旅大模型教程，單擊右上角的在DSW中打開。

在請選擇對應實例對話框中，單擊新建DSW實例。

1.4 創建PAI-DSW實例

在配置實例頁面，自定義輸入實例名稱，例如DSW_LlamaFactory。

說明：

• 若您是 PAI 產品新用戶，請再次確認是否已領取免費使用權益，點擊領取。若您未領取免費試用權益，或不符合免費試用條件，或歷史已領取且免費試用額度用盡或到期，完成本實驗將產生扣費，大約為6-30元/小時。
• 請在實驗完成后，參考最后一章節清理及后續，停止/刪除實例，以免產生不必要的扣費或資源消耗。

GPU推薦使用 24GB 顯存的 A10（ecs.gn7i-c8g1.2xlarge）或更高配置。※ 支持免費試用的資源：

ecs.gn7i-c8g1.2xlarge、ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge

在配置實例頁面的選擇鏡像區域，請確認鏡像是否為官方鏡像的modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04。

在配置實例頁面，未提及的參數保持默認即可，單擊確認，創建實例。

請您耐心等待大約3分鐘左右，當狀態變為運行中時，表示實例創建成功，點擊打開NoteBook。

1.5 運行Notebook教程文件

安裝LLaMA Factory

根據教程指引，依次運行命令。

說明：單擊命令左側的運行?按鈕表示開始運行任務，當左側為?號時表明成功運行結束。

下載數據集

LLaMA-Factory 項目內置了豐富的數據集，放在了 data目錄下。您可以跳過本步驟，直接使用內置數據集。您也可以準備自定義數據集，將數據處理為框架特定的格式，放在 data 下，并且修改 dataset_info.json 文件。

本教程準備了一份多輪對話數據集，運行下述命令下載數據。

說明：單擊命令左側的運行?按鈕表示開始運行任務，當左側為?號時表明成功運行結束。

2. 模型微調

2.1 啟動 Web UI

單擊命令左側的運行?按鈕表示開始運行任務，當左側為?號時表明成功運行結束。

然后單擊返回的URL地址，進入Web UI頁面。

2.2 配置參數

進入 WebUI 后，可以切換語言到中文（zh）。首先配置模型，本教程選擇 Qwen2VL-2B-Chat 模型，微調方法修改為 full，針對小模型使用全參微調方法能帶來更好的效果。 

數據集使用上述下載的 train.json。

可以點擊「預覽數據集」。點擊關閉返回訓練界面。

設置學習率為 1e-4，訓練輪數為 10，更改計算類型為 pure_bf16，梯度累積為 2，有利于模型擬合。

在其他參數設置區域修改保存間隔為 1000，節省硬盤空間。

2.3 啟動微調

將輸出目錄修改為 train_qwen2vl，訓練后的模型權重將會保存在此目錄中。點擊「預覽命令」可展示所有已配置的參數，您如果想通過代碼運行微調，可以復制這段命令，在命令行運行。

點擊「開始」啟動模型微調。 

啟動微調后需要等待一段時間，待模型下載完畢后可在界面觀察到訓練進度和損失曲線。模型微調大約需要 14 分鐘，顯示“訓練完畢”代表微調成功。

3. 模型對話

選擇「Chat」欄，將檢查點路徑改為 train_qwen2vl，點擊「加載模型」即可在 Web UI 中和微調后的模型進行對話。

首先點擊下載測試圖片1或測試圖片2，并上傳至對話框的圖像區域，接著在系統提示詞區域填寫“你是一個導游，請生動有趣地回答游客提出的問題”。在頁面底部的對話框輸入想要和模型對話的內容，點擊提交即可發送消息。

發送后模型會逐字生成回答，從回答中可以發現模型學習到了數據集中的內容，能夠恰當地模仿導游的語氣介紹圖中的山西博物院。 

點擊「卸載模型」，點擊檢查點路徑輸入框取消勾選檢查點路徑，再次點擊「加載模型」，即可與微調前的原始模型聊天。 

重新向模型發送相同的內容，發現原始模型無法準確識別山西博物院。 

三、資源清理和后續操作

1. 資源清理
   • 在實驗完成后，前往控制臺停止或刪除實例，以避免資源的持續消耗和不必要的費用。
2. 后續使用
   • 在試用有效期內，可以繼續使用DSW實例進行模型訓練和推理驗證，探索更多AI圖像編輯的可能性。

文章轉自微信公眾號@阿里云開發者