Phenaki API 價格：探索最新技術與市場趨勢
為什么會出現大模型蒸餾？
大模型蒸餾技術的出現，主要是為了應對大規模模型（例如 GPT、Llama、DeepSeek 等）在實際應用中的一些問題和需求。盡管這些大模型在性能上很強悍，但是在使用時資源消耗大成本高，蒸餾技術正是為了解決這些問題而提出來的，蒸餾也是一種大模型優化的技術手段，資源消耗具體體現為以下兩點：
1、計算資源
大模型通常具有非常龐大的參數量，可能達到數十億、數百億甚至上千億的參數，這導致了以下問題，訓練成本高昂：訓練這樣的大模型需要極為強大的計算資源，通常需要數周甚至數月的時間，并且要消耗大量的電力。推理速度慢：在實際應用中，大模型往往無法實時響應請求，因為它們的計算需求過于龐大。蒸餾技術通過將大模型的知識遷移到小模型上，能夠在保持較高性能的前提下，大幅減少計算開銷。這樣，即使是硬件資源有限的環境，也能實現高效的推理和部署。
2、推理時的內存和存儲資源
大模型在推理時不僅需要大量計算資源，還需要極其龐大的內存和存儲空間。例如，在推理時，大模型可能需要占用幾十 GB 甚至上百 GB 的內存，這對很多設備（如 PC、手機、嵌入式設備）來說是不現實的。蒸餾技術通過壓縮模型大小，可以讓小模型在保持大模型性能的情況下，顯著減少內存和存儲的需求，使其更適合在資源受限的設備上運行。
從官方發布材料上看，在Deepseek之前，主流的開源大模型 Qwen、Llama等都沒有正式發布蒸餾大模型，為什么會這樣，筆者談談自己的看法，我們先來看看模型蒸餾的好處
我說下結論：
假如有 7B 參數量的模型 A 和 B，兩者的模型結構完全相同，其中 A 是通過模型蒸餾得到的（教師模型能力很強），而 B 是從零開始訓練的，那么 A 的表現通常會比 B 好， 理由如下：
1、蒸餾的知識遷移優勢
2、訓練過程中的指導作用
3、大模型的泛化能力
說明一下，在做模型蒸餾時，教師模型和學生模型的架構可以不同。蒸餾的核心在于將教師模型的知識（如輸出分布或中間特征）傳遞給學生模型，而不是直接復制其架構。這種靈活性使得蒸餾可以應用于不同架構的模型之間
舉個例子：
假設有一位老師（教師模型）和兩個學生（A 學生 和 B 學生），他們的任務是學習如何寫一篇優秀的作文。
學習過程
A 學生（模型蒸餾）—有老師指導
1、模仿老師的寫作：A 學生通過觀察老師的寫作過程，學習如何構思、組織段落、使用修辭手法等。
2、接受反饋：老師會為A學生的作文提供詳細的反饋，指出優點和不足，并給出改進建議。
3、逐步優化：A 學生根據老師的反饋不斷調整自己的寫作方法，最終寫出接近老師水平的作文。
B 學生（從零訓練）—自學
1、閱讀大量范文：B 學生通過閱讀大量優秀作文，嘗試總結寫作技巧。
2、自己摸索：B 學生沒有老師的直接指導，只能通過試錯來學習，可能會走一些彎路。
3、逐步改進：B 學生通過不斷練習，逐漸提高寫作水平，但進步速度較慢，且可能無法達到老師的高度
通常情況下在這個場景中，A學生（蒸餾模型）通過模仿老師的寫作技巧和接受反饋和指導，能夠更快、更好地掌握寫作能力，最終表現優于 B 學生（從零訓練的模型）。這說明了蒸餾模型的優勢：通過繼承大模型的知識和能力，小模型可以在更短的時間內達到更高的性能。
其他大模型為什么以前沒有使用?
筆者說下自己的看法：
1、模型設計理念的差異
2、實際應用需求的差異
說到底是大廠人多錢多，起步早，走的是重型裝備路線；Deepseek 是小廠，資源有限，走的是輕巧路線。在有限的資源條件下，要實現更強的模型能力，蒸餾模型技術是實現這一目標的有效途徑之一。
這里簡要說下關鍵的幾個步驟
前置條件：用于蒸餾的教師模型已經就緒
第一步：準備訓練數據階段
這一步的目的是使用教師模型對原始數據進行處理，生成軟標簽， 可以簡單理解為，在考試的時候先把試卷發給老師做，老師把每道題的解題思路和答案先寫出來。
1、準備原始數據集 –》 對應試卷
用于訓練的數據，例如文本、圖像或其他類型的數據。
注意：這些數據是用于教師模型和學生模型的輸入
2、教師模型生成數據（軟標簽） –> 對應解題思路和答案
將上述準備的原始數據集輸入到教師模型中，教師模型會輸出數據（軟標簽）。通常是概率分布（例如，對于分類任務，每個類別的概率值）。軟標簽包含了教師模型的知識，學生模型需要學習這些知識。
舉個例子：假設我們有一個文本分類任務，原始訓練數據是“這部電影很棒”，任務是判斷情感是正面還是負面
教師模型的輸入：“這部電影很棒”。
經過處理后輸出數據（軟標簽）：[正面: 0.88, 負面: 0.12]。相當于是解題思路和答案
下一步學生模型訓練需要的數據是類似下這個配對數據 ，簡單理解為左邊是問題，右邊是解題思路和答案
“這部電影很棒“ <—> 目標:[正面: 0.88, 負面: 0.12]
第二步：開始訓練
輸入數據輸入：
將原始數據（例如“這部電影很棒”）輸入到學生模型中。
答案：教師模型生成的軟標簽 [正面: 0.88, 負面: 0.12]。
學生模型接收輸入數據，通過神經網絡進行計算，生成預測概率分布。學生模型的輸出可能是 [正面: 0.88, 負面: 0.11]。
計算損失
使用損失函數（如 KL 散度）比較學生模型的輸出與目標軟標簽（答案）之間的差異（Loss）。
反向傳播
根據損失值，計算損失函數對模型參數的梯度。通過反向傳播算法，將梯度從輸出層傳遞到輸入層，逐層更新模型的參數。
參數更新
使用優化器（如 SGD、Adam）根據梯度更新學生模型的參數，使損失值逐漸減小。目標是通過多次迭代，讓學生模型的輸出越來越接近軟標簽。
這里可能會有人產生疑問：“在對 DeepSeek 進行蒸餾時，用于蒸餾的教師模型和通過互聯網訪問的普通模型是一樣的嗎？”
答案是否定的。用于蒸餾的教師模型和實際部署的模型通常是不同的，
盡管它們可能基于相同的架構。教師模型通常更大、更復雜，主要用于生成軟標簽，為蒸餾提供指導。而部署模型則更注重效率，通常會經過量化、剪枝等優化，直接輸出文字（針對生成式任務）或具體類別（針對分類任務）。簡單來說，教師模型需要盡可能保持原始狀態，具備全面的能力（“老師要啥都會”），而部署模型則是面向具體任務進行優化，不需要的部分可以去掉。
本文詳細介紹了大模型蒸餾的定義、優勢以及關鍵步驟。那么，類似 DeepSeek 的蒸餾方式未來是否會推廣開來，成為主流呢？
筆者認為，這種可能性非常大。蒸餾技術能夠有效解決大模型在部署、效率和資源消耗方面的痛點，同時隨著技術的不斷進步，其效果和適用范圍還將進一步擴大，而這正是大模型推廣過程中面臨的關鍵障礙。雖然蒸餾技術會增加一定的復雜度，但對于模型廠商來說，這并非無法解決的問題。只要技術能夠推廣開來并得到市場認可，復雜度的挑戰也就迎刃而解了。
文章轉載自：Deepseek為什么選擇蒸餾模型？一文徹底搞懂大模型蒸餾技術
