2. 偏好對齊方法（Preference Alignment）

(1) 基于人類反饋的強化學習（Reinforcement Learning with Human Feedback, RLHF）

• 三步流程：

1. 收集偏好數據集：針對同一個問題，提供兩個答案并標注優劣。
2. 訓練獎勵模型（Reward Model）：基于偏好數據集，構建一個評分機制。
3. 強化學習優化：結合獎勵模型與強化學習算法（如 PPO），教導 LLM 提供更優質的回答。

• 典型訓練流程：預訓練 → SFT → 偏好對齊。
• 優缺點：雖然效果顯著，但訓練過程復雜且需要大量人力標注。

(2) 直接偏好優化（Direct Preference Optimization, DPO）

• 特點：

• 直接使用損失函數對偏好進行優化，無需訓練獎勵模型。
• 訓練過程更簡單，且更穩定。

• 適用場景：大部分應用中，DPO 是更易于實施的選擇，尤其在小型數據集上更具優勢。
• 研究發現：在部分數據集中，RLHF 仍表現更佳，但成本較高。

(3) 單體偏好優化（Monolithic Preference Optimization, ORPO）

• 創新點：ORPO 是 2024 年提出的全新方法，旨在融合 SFT 和偏好對齊的步驟。
• 原理：

• 解決了 SFT 過程中負對樣本（不偏好的答案）缺乏懲罰的問題。
• 在優化過程中，不僅提升了理想答案的預測概率，還有效減少了不理想答案的可能性。
• 優勢：結合領域知識學習和偏好對齊，同時保證收斂穩定性，適合更復雜的微調任務。

原文：https://arxiv.org/abs/2403.07691

ORPO Fine-tuning：https://huggingface.co/blog/mlabonne/orpo-llama-3

微調LLM常用的工具庫與框架

在微調大語言模型（LLMs）的過程中，選擇合適的工具庫和框架可以極大地簡化開發流程，提高效率。以下是常用的工具和集成框架匯總，讓你快速入門并靈活應用。

常用工具庫

1. bitsandbytes

• 提供多種 LLM 量化（quantization）相關的工具，包括層（layer）、函數（function）和優化器（optimizer）。
• 適用于需要優化存儲和算力的任務，尤其是大規模模型的微調。

2. Parameter-Efficient Fine-Tuning (PEFT)

• 專注于參數高效微調，提供多種方法，其中最知名的是 LoRA（Low-Rank Adaptation）及其衍生算法。
• 隸屬于 HuggingFace 生態系統，支持無縫集成 HuggingFace 的模型，非常適合快速開發和實驗。

3. Transformer Reinforcement Learning (TRL)

• SFT（監督式微調）。
• RLHF所需的獎勵建模（Reward Modeling, RM）和近端策略優化（PPO）。
• DPO（直接偏好優化）。
• 同樣屬于 HuggingFace 生態系統，支持多種微調方法：
• 適合需要實現復雜訓練流程的開發者。

4. wandb

• 用于跟蹤和記錄模型訓練過程中的數據，包括超參數設置、訓練進度等信息。
• 是許多訓練框架的配套工具，讓實驗更加可視化和規范化。

常用微調框架

1. LLaMA-Factory

• 微調框架，盡管以 “LLaMA” 命名，但實際上支持超過 100 種語言模型（LM）。
• 提供微調所需的各種工具，并集成了友好的 WebUI 界面，大幅簡化了訓練流程，非常適合初學者快速上手。

2. Alpaca-Lora

• 早期開源項目，提供簡單的微調腳本，支持基礎的 LoRA 微調功能。
• 注意：項目已停止更新，但仍可作為入門參考（曾有人提議整合 QLoRA，但未被采納）。

3. torchtune

• 由 PyTorch 團隊推出的微調框架，整體架構設計簡潔易懂，適合學習和實踐。
• 推薦：框架上手簡單，本文后續會提供獨立教程，進一步介紹其使用方法與案例。

完整代碼：

Github REAME : https://github.com/jeff52415/yoga-model-hub/blob/main/docs/fine_tune_llm.md

Jupyter Notebook Tutorial：https://github.com/jeff52415/yoga-model-hub/blob/main/notebooks/fine_tune_llm.ipynb

原文轉載出自：@AI技術研習社《如何提升預訓練LLMs：從零打造到微調優化的全攻略》