一区二区三区免费在线观看,中文字幕久久综合,国产一级视频免费

反向傳播

一、反向傳播的本質

前向傳播（Forward Propagation）：前向傳播是神經網絡通過層級結構和參數，將輸入數據逐步轉換為預測結果的過程，實現輸入與輸出之間的復雜映射。

前向傳播

輸入層：
- 輸入層接收訓練集中的樣本數據。
- 每個樣本數據包含多個特征，這些特征被傳遞給輸入層的神經元。
- 通常，還會添加一個偏置單元來輔助計算。
隱藏層：
- 隱藏層的每個神經元接收來自輸入層神經元的信號。
- 這些信號與對應的權重相乘后求和，并加上偏置。
- 然后，通過激活函數（如sigmoid）處理這個求和結果，得到隱藏層的輸出。
輸出層：
- 輸出層從隱藏層接收信號，并進行類似的加權求和與偏置操作。
- 根據問題的類型，輸出層可以直接輸出這些值（回歸問題），或者通過激活函數（如softmax）轉換為概率分布（分類問題）。

反向傳播（Back Propagation）：反向傳播算法利用鏈式法則，通過從輸出層向輸入層逐層計算誤差梯度，高效求解神經網絡參數的偏導數，以實現網絡參數的優化和損失函數的最小化。

鏈式法則（Chain Rule）：鏈式法則是微積分中的一個基本定理，用于計算復合函數的導數。如果一個函數是由多個函數復合而成，那么該復合函數的導數可以通過各個簡單函數導數的乘積來計算。

簡化梯度計算：在神經網絡中，損失函數通常是一個復合函數，由多個層的輸出和激活函數組合而成。鏈式法則允許我們將這個復雜的復合函數的梯度計算分解為一系列簡單的局部梯度計算，從而簡化了梯度計算的過程。
高效計算梯度：通過鏈式法則，我們可以從輸出層開始，逐層向前計算每個參數的梯度。這種逐層計算的方式避免了重復計算，提高了梯度計算的效率。
支持多層網絡結構：鏈式法則不僅適用于簡單的兩層神經網絡，還可以擴展到具有任意多層結構的深度神經網絡。這使得我們能夠訓練和優化更加復雜的模型。

偏導數：偏導數是多元函數中對單一變量求導的結果，它在

反向傳播中用于量化損失函數隨參數變化的敏感度，從而指導參數優化。

偏導數

偏導數的定義：
- 偏導數是指在多元函數中，對其中一個變量求導，而將其余變量視為常數的導數。
- 在神經網絡中，偏導數用于量化損失函數相對于模型參數（如權重和偏置）的變化率。
反向傳播的目標：
- 反向傳播的目標是計算損失函數相對于每個參數的偏導數，以便使用優化算法（如梯度下降）來更新參數。
- 這些偏導數構成了梯度，指導了參數更新的方向和幅度。
計算過程：
- 輸出層偏導數：首先計算損失函數相對于輸出層神經元輸出的偏導數。這通常直接依賴于所選的損失函數。
- 隱藏層偏導數：使用鏈式法則，將輸出層的偏導數向后傳播到隱藏層。對于隱藏層中的每個神經元，計算其輸出相對于下一層神經元輸入的偏導數，并與下一層傳回的偏導數相乘，累積得到該神經元對損失函數的總偏導數。
- 參數偏導數：在計算了輸出層和隱藏層的偏導數之后，我們需要進一步計算損失函數相對于網絡參數的偏導數，即權重和偏置的偏導數。

1. 網絡結構

2. 前向傳播

3. 損失計算

4. 反向傳播：計算損失函數相對于網絡參數的偏導數，并從輸出層開始反向傳播誤差。

輸出層偏導數：
- 損失函數對輸出層輸入的偏導數（δ2）：2 * (0.67 - 0.8) * sigmoid_derivative(0.71) ≈ -0.05
- sigmoid 函數的導數：sigmoid(x) * (1 - sigmoid(x))
隱藏層偏導數：
- 損失函數對隱藏層每個神經元輸出的偏導數（δ1）：[δ2 * 0.6 * sigmoid_derivative(0.31), δ2 * 0.7 * sigmoid_derivative(0.29)]
- 計算后得到 δ1 ≈ [-0.01, -0.01]（這里簡化了計算，實際值可能有所不同）
參數偏導數：
- 對于權重 W2：[δ2 * 隱藏層輸出1, δ2 * 隱藏層輸出2] = [-0.03, -0.04]
- 對于偏置 b2：δ2 = -0.05
- 對于權重 W1 和偏置 b1，需要更復雜的計算，因為它們影響到隱藏層的輸出，進而影響到輸出層的輸入和最終的損失。這些偏導數依賴于 δ1 和輸入層的值。