Hugging Face：一個提供豐富預訓練模型和工具的領先平臺，助力自然語言處理（NLP）任務的快速開發與部署。

• 一、公司介紹
• Hugging Face 是一家專注于自然語言處理（NLP）模型訓練和部署的平臺公司。
• 二、平臺特點
• 提供多種 NLP 任務的模型庫，如語言翻譯、文本生成和問答。
• 提供了在特定數據集上微調預訓練模型的工具。
• 提供了訪問和利用應用程序中預訓練模型的 API。
• 提供了構建定制模型并將其部署到云端的工具。
• 三、使用優勢模型多樣性：提供大量預訓練的 NLP 模型，滿足不同任務需求。

二、Fine-tuning的原理

大模型微調的步驟：在選定相關數據集和預訓練模型的基礎上，通過設置合適的超參數并對模型進行必要的調整，使用特定任務的數據對模型進行訓練以優化其性能。

大模型微調包含以下四個核心步驟：

• 數據準備：
  • 選擇與任務相關的數據集。
  • 對數據進行預處理，包括清洗、分詞、編碼等。
• 選擇基礎模型：
  • 選擇一個預訓練好的大語言模型，如BERT、GPT-3等。
• 設置微調參數：
  • 設定學習率、訓練輪次（epochs）、批處理大小（batch size）等超參數。
  • 根據需要設定其他超參數，如權重衰減、梯度剪切等。
• 微調流程：
  • 加載預訓練的模型和權重。
  • 根據任務需求對模型進行必要的修改，如更改輸出層。
  • 選擇合適的損失函數和優化器。
  • 使用選定的數據集進行微調訓練，包括前向傳播、損失計算、反向傳播和權重更新。

RLHF（Reinforcement Learning from Human Feedback）：一種利用人類反饋作為獎勵信號來訓練強化學習模型的方法，旨在提升模型生成文本等內容的質量，使其更符合人類偏好。

強化學習（Reinforcement Learning）結合人類反饋（Human Feedback）來微調大語言模型（Large Language Models）的一般過程：

• 一、使用監督數據微調語言模型：
  • 這一步與傳統的fine-tuning類似，即使用標注過的數據來調整預訓練模型的參數，使其更好地適應特定任務或領域。

• 二、訓練獎勵模型：
  • 獎勵模型用于評估文本序列的質量，它接受一個文本作為輸入，并輸出一個數值，表示該文本符合人類偏好的程度。
  • 訓練數據通常由多個語言模型生成的文本序列組成，這些序列經過人工評估或使用其他模型（如ChatGPT）進行打分。
  • 這個獎勵信號在后續的強化學習訓練中至關重要，因為它指導模型生成更符合人類期望的文本。

• 三、訓練RL模型：
  • 在強化學習框架中，需要定義狀態空間、動作空間、策略函數和價值函數。
  • 狀態空間是輸入序列的分布，動作空間是所有可能的token（即詞匯表中的詞）。
  • 價值函數結合了獎勵模型的輸出和策略約束，用于評估在給定狀態下采取特定動作的價值。
  • 策略函數就是經過微調的大型語言模型，它根據當前狀態選擇下一個動作（token），以最大化累計獎勵。

三、Fine-tuning的應用

大模型微調的方式：可通過全量調整所有參數以充分適應新任務，或采用參數高效微調技術僅優化部分參數以實現快速且低成本的遷移學習。

一、全量微調（Full Fine-Tuning）

全量微調利用特定任務數據調整預訓練模型的所有參數，以充分適應新任務。它依賴大規模計算資源，但能有效利用預訓練模型的通用特征。

二、參數高效微調（Parameter-Efficient Fine-Tuning, PEFT）

PEFT旨在通過最小化微調參數數量和計算復雜度，實現高效的遷移學習。它僅更新模型中的部分參數，顯著降低訓練時間和成本，適用于計算資源有限的情況。PEFT技術包括Prefix Tuning、Prompt Tuning、Adapter Tuning等多種方法，可根據任務和模型需求靈活選擇。

1. Prefix Tuning
   • 方法：在輸入前添加可學習的virtual tokens作為Prefix。
   • 特點：僅更新Prefix參數，Transformer其他部分固定。
   • 優點：減少需要更新的參數數量，提高訓練效率。
2. Prompt Tuning
   • 方法：在輸入層加入prompt tokens。
   • 特點：簡化版的Prefix Tuning，無需MLP調整。
   • 優點：隨著模型規模增大，效果接近full fine-tuning。
3. P-Tuning
   • 方法：將Prompt轉換為可學習的Embedding層，并用MLP+LSTM處理。
   • 特點：解決Prompt構造對下游任務效果的影響。
   • 優點：提供更大的靈活性和更強的表示能力。
4. P-Tuning v2
   • 方法：在多層加入Prompt tokens。
   • 特點：增加可學習參數數量，對模型預測產生更直接影響。
   • 優點：在不同任務和模型規模上實現更好的性能。
5. Adapter Tuning
   • 方法：設計Adapter結構并嵌入Transformer中。
   • 特點：僅對新增的Adapter結構進行微調，原模型參數固定。
   • 優點：保持高效性的同時引入少量額外參數。
6. LoRA
   • 方法：在矩陣相乘模塊中引入低秩矩陣來模擬full fine-tuning。
   • 特點：更新語言模型中的關鍵低秩維度。
   • 優點：實現高效的參數調整，降低計算復雜度。

支持微調的模型和數據集：大型語言模型通過微調可以適應不同任務，而中文微調數據集為模型在中文領域的應用提供了關鍵資源。

一、支持微調的模型:?

二、大模型微調開源數據集

1. 對于大型語言模型的微調，數據集是關鍵。

instruction字段通常用于描述任務類型或給出指令，input字段包含模型需要處理的文本數據，而output字段則包含對應輸入的正確答案或期望輸出。

2. 常用中文微調數據集可能包括：

• 中文問答數據集（如CMRC 2018、DRCD等），用于訓練問答系統。
• 中文情感分析數據集（如ChnSentiCorp、Fudan News等），用于訓練情感分類模型。
• 中文文本相似度數據集（如LCQMC、BQ Corpus等），用于訓練句子對匹配和相似度判斷任務。
• 中文摘要生成數據集（如LCSTS、NLPCC等），用于訓練文本摘要生成模型。
• 中文對話數據集（如LCCC、ECDT等），用于訓練聊天機器人或對話系統。

文章轉自微信公眾號@架構師帶你玩轉AI