使用這些基本 REST API 最佳實踐構建出色的 API
Hyperparameter
模型參數（Model Parameter）是什么？模型實際上是一個復雜的函數，由參數和變量組成。數據是變量，而參數則是通過訓練數據學到的常量。
在神經網絡中，模型參數包括每一層的權重（Weight）和偏置項（Bias）。這些參數在訓練過程中通過反向傳播算法進行調整，以最小化損失函數。神經網絡模型參數的數量和復雜性隨著網絡層數和每層的神經元數量的增加而增加。
在特定的神經網絡模型中，還有其他類型的參數：
超參數（Hyperparameter）是什么？超參數是深度學習在訓練前設置的，用于控制模型訓練過程和架構的參數。需要自己設定，不是機器自己找出來的。
模型參數是在訓練過程中通過數據學習得到的，而超參數是在訓練之前直接設定的，并且在訓練過程中保持不變。
神經網絡結構的超參數是什么？直接影響神經網絡結構的超參數主要包括網絡層數（Layers）和每層的神經元數量（Neurons per Layer），它們共同決定了神經網絡的深度和寬度。此外，雖然激活函數（Activation Function）不直接改變網絡結構，但它通過引入非線性變換，顯著影響網絡的表達能力和性能，是神經網絡設計中不可忽視的關鍵因素。
神經網絡訓練過程的超參數是什么？直接影響神經網絡訓練過程的超參數包括學習率（Learning Rate）、批量大小（Batch Size）、迭代次數（Epochs）和優化算法（Optimizer）。這些超參數共同決定了訓練過程中模型權重的更新方式、訓練速度、穩定性和最終性能。
梯度下降（Gradient Descent）是深度學習中一種至關重要的優化算法，其核心目的是尋找最佳模型參數或權重，從而最小化損失函數。該算法通過迭代的方式，不斷調整參數值，沿著損失函數負梯度方向（即函數值下降最快的方向）進行搜索，直至收斂至一個局部最小值。這一過程中，每次迭代都會根據當前參數位置的梯度信息，以及預設的學習率，來更新參數值，從而逐步逼近最優解。
Gradient Descent
梯度下降（Gradient Descent）是什么？梯度下降是一種用于尋找函數局部最小值的優化算法。
它通過迭代的方式，不斷調整模型參數，以最小化一個預先定義的損失函數（或稱為代價函數）。
梯度下降的工作原理是什么？基于函數梯度（或導數）的迭代優化算法，旨在找到函數的局部最小值。
梯度下降利用函數關于其參數的梯度（即一階導數）來指導參數的更新方向。梯度是一個向量，指向函數值增長最快的方向。為了找到函數的最小值，我們應該沿著梯度的反方向（即函數值下降最快的方向）更新參數。
梯度下降的算法有哪些？批量梯度下降（BGD）穩定但計算量大，隨機梯度下降（SGD）計算快但收斂不穩定，小批量梯度下降（Mini-batch GD）則結合了二者的優點，通過選擇適當的批量大小來平衡計算量和收斂穩定性。
批量梯度下降（Batch Gradient Descent, BGD）是什么？在每次迭代中，批量梯度下降使用整個數據集來計算損失函數的梯度，并根據這個梯度來更新模型的所有參數。（1）BGD優點：易于實現，全局收斂性較好，適用于凸優化問題。
（2）BGD缺點：計算量大，需要處理整個數據集，對于大數據集來說可能非常耗時。
隨機梯度下降（Stochastic Gradient Descent, SGD）是什么？在每次迭代中，SGD隨機選擇一個樣本來計算梯度，并據此更新模型參數。（1）SGD優點：計算量小，每次迭代只需要處理一個樣本，訓練速度快。
（2）SGD缺點：梯度估計的噪聲較大，可能導致收斂過程不穩定，可能陷入局部最小值或鞍點。
小批量梯度下降（Mini-batch Gradient Descent, MBGD）是什么？在每次迭代中，MBGD使用一小批（batch）樣本來計算梯度，并據此更新模型參數。（1）MBGD優點：計算量小，每次迭代只需要處理一個樣本，訓練速度快。
（2）MBGD缺點：梯度估計的噪聲較大，可能導致收斂過程不穩定，可能陷入局部最小值或鞍點。
反向傳播（Back Propagation，簡稱BP）算法是深度學習中最為核心和常用的優化算法之一，廣泛應用于神經網絡的訓練過程中。它通過計算損失函數關于網絡參數的梯度來更新參數，從而最小化損失函數并提高模型的預測準確性。
Back Propagation
前向傳播（Forward Propagation）是什么？前向傳播是神經網絡中的一種基本計算過程，用于通過網絡的每一層傳遞輸入數據并生成輸出。
從神經網絡的輸入層開始，逐層計算每一層神經元的輸出，直到到達輸出層并生成最終預測結果。
為什么需要前向傳播？前向傳播是神經網絡進行預測和分類的基礎過程。
在訓練階段，前向傳播用于生成預測結果，并與真實標簽進行比較以計算損失函數的值。然后，通過反向傳播算法將損失函數的梯度信息反向傳遞回網絡，用于更新權重和偏置等參數。在推理階段，神經網絡僅使用前向傳播過程來生成預測結果。此時，輸入數據通過網絡進行前向傳播，直到輸出層生成最終的預測結果。
反向傳播（Back Propagation）是什么？BP算法是由Rumelhart、Hinton和Williams等人在1986年共同提出的，是神經網絡的通用訓練算法。
在BP算法出現之前，多層神經網絡的訓練一直是一個難題，因為無法有效地計算每個參數對于損失函數的梯度。BP算法通過反向傳播梯度，利用鏈式法則逐層計算每個參數的梯度，從而實現了多層神經網絡的訓練。
反向傳播的工作原理是什么？通過鏈式法則從輸出層到輸入層逐層計算誤差梯度，并利用這些梯度更新網絡參數以最小化損失函數。
為什么需要計算誤差梯度？誤差梯度提供了損失函數相對于參數的變化率信息。當梯度為正時，表示損失函數值隨著參數的增加而增加；當梯度為負時，表示損失函數值隨著參數的減少而減少。
通過計算梯度，我們可以確定參數更新的方向，即應該增加還是減少參數值，以最小化損失函數。
如何計算梯度？自動微分利用計算圖（Computational Graph）和鏈式法則自動計算梯度。
在深度學習中，自動微分通常通過深度學習框架（如TensorFlow、PyTorch）實現，這些框架提供了高效的自動微分機制，使得梯度計算變得簡單快捷。
深度學習中的損失函數（Loss Function）是一個衡量預測結果與真實結果之間差異的函數，也稱為誤差函數。它通過計算模型的預測值與真實值之間的不一致程度，來評估模型的性能。損失函數按任務類型分為回歸損失和分類損失，回歸損失主要處理連續型變量，常用MSE、MAE等，對異常值敏感度不同；分類損失主要處理離散型變量，常用Cross Entropy Loss、Dice Loss等，適用于不同分類任務需求。
Loss Function
損失函數（Loss Function）是什么？損失函數是深度學習中用于衡量模型預測結果與真實結果之間差異的函數。
損失函數通過計算一個數值，來表示模型預測的準確性或誤差大小。
為什么需要損失函數？在訓練過程中，模型的目標是通過調整其參數來最小化損失函數的值，從而提高預測的準確性。
損失函數能量化模型預測與真實結果之間的差異。
回歸損失（Regression Loss）是什么？回歸損失是損失函數在回歸問題中的具體應用。回歸問題是指預測一個或多個連續值的問題，與分類問題（預測離散值）相對。
回歸損失函數有哪些？回歸損失函數包括均方誤差（MSE）和絕對誤差（MAE），MSE對異常值敏感，適用于精確預測場景；MAE對異常值魯棒，適用于異常值可能重要的場景。
均方誤差（Mean Squared Error, MSE）是什么？均方誤差（MSE）計算的是預測值與真實值之間差的平方的平均值。
MSE對異常值非常敏感，因為較大的誤差會受到更大的懲罰（誤差的平方會放大差異）。它通常用于需要精確預測的場景，但可能不適用于異常值較多的數據集。
絕對誤差（Mean?Absolute?Error, MAE）是什么？絕對誤差（MAE）計算的是預測值與真實值之間差的絕對值的平均值。
MAE對異常值的魯棒性較好，因為無論誤差大小，都以相同的權重進行計算（絕對誤差不會放大差異）。它通常用于異常值可能代表重要信息或損壞數據的場景。
分類損失（Classification Loss）是什么？分類損失是在訓練分類模型時，用于衡量模型預測結果與真實標簽之間差異的一種度量。它是一個非負值，反映了模型預測結果的準確性。分類損失越小，意味著模型的預測結果與真實標簽越接近，模型的性能也就越好。
分類損失函數有哪些？分類損失函數包括交叉熵損失（Cross Entropy Loss）和骰子損失（Dice Loss）。
Cross Entropy Loss是基于信息論中交叉熵概念的分類損失函數，用于衡量預測概率分布與真實標簽概率分布之間的差異，值越小表示模型性能越好；而Dice Loss則是基于Dice系數的損失函數，用于評估圖像分割任務中預測結果與真實標簽的相似度，值越小表示分割精度越高。
交叉熵損失（Cross Entropy Loss）是什么？在分類問題中，一個分布是模型的預測概率分布，而另一個分布是真實標簽的概率分布（通常以one-hot編碼表示）。交叉熵損失通過計算這兩個分布之間的差異來評估模型的性能。
骰子損失（Dice Loss）是什么？骰子損失基于Dice系數，后者用于評估兩個二值圖像或二值掩碼的重疊情況。Dice系數的值在0到1之間，值越大表示兩個集合越相似。
在圖像分割任務中，Dice Loss常用于評估模型對目標區域的分割精度，特別是在醫學圖像分割等需要高精度的小目標區域分割的場景中。
文章轉自微信公眾號@架構師帶你玩轉AI