在线看片免费人成视久网,国产精品国产三级国产试看 ,国产一级持黄大片99久久

反向傳播

一、反向傳播的本質(zhì)

前向傳播（Forward Propagation）：前向傳播是神經(jīng)網(wǎng)絡(luò)通過層級結(jié)構(gòu)和參數(shù)，將輸入數(shù)據(jù)逐步轉(zhuǎn)換為預(yù)測結(jié)果的過程，實現(xiàn)輸入與輸出之間的復(fù)雜映射。

前向傳播

輸入層：
- 輸入層接收訓(xùn)練集中的樣本數(shù)據(jù)。
- 每個樣本數(shù)據(jù)包含多個特征，這些特征被傳遞給輸入層的神經(jīng)元。
- 通常，還會添加一個偏置單元來輔助計算。
隱藏層：
- 隱藏層的每個神經(jīng)元接收來自輸入層神經(jīng)元的信號。
- 這些信號與對應(yīng)的權(quán)重相乘后求和，并加上偏置。
- 然后，通過激活函數(shù)（如sigmoid）處理這個求和結(jié)果，得到隱藏層的輸出。
輸出層：
- 輸出層從隱藏層接收信號，并進(jìn)行類似的加權(quán)求和與偏置操作。
- 根據(jù)問題的類型，輸出層可以直接輸出這些值（回歸問題），或者通過激活函數(shù)（如softmax）轉(zhuǎn)換為概率分布（分類問題）。

反向傳播（Back Propagation）：反向傳播算法利用鏈?zhǔn)椒▌t，通過從輸出層向輸入層逐層計算誤差梯度，高效求解神經(jīng)網(wǎng)絡(luò)參數(shù)的偏導(dǎo)數(shù)，以實現(xiàn)網(wǎng)絡(luò)參數(shù)的優(yōu)化和損失函數(shù)的最小化。

反向傳播

利用鏈?zhǔn)椒▌t：反向傳播算法基于微積分中的鏈?zhǔn)椒▌t，通過逐層計算梯度來求解神經(jīng)網(wǎng)絡(luò)中參數(shù)的偏導(dǎo)數(shù)。
從輸出層向輸入層傳播：算法從輸出層開始，根據(jù)損失函數(shù)計算輸出層的誤差，然后將誤差信息反向傳播到隱藏層，逐層計算每個神經(jīng)元的誤差梯度。
計算權(quán)重和偏置的梯度：利用計算得到的誤差梯度，可以進(jìn)一步計算每個權(quán)重和偏置參數(shù)對于損失函數(shù)的梯度。
參數(shù)更新：根據(jù)計算得到的梯度信息，使用梯度下降或其他優(yōu)化算法來更新網(wǎng)絡(luò)中的權(quán)重和偏置參數(shù)，以最小化損失函數(shù)。

二、反向傳播的原理

鏈?zhǔn)椒▌t（Chain Rule）：鏈?zhǔn)椒▌t是微積分中的一個基本定理，用于計算復(fù)合函數(shù)的導(dǎo)數(shù)。如果一個函數(shù)是由多個函數(shù)復(fù)合而成，那么該復(fù)合函數(shù)的導(dǎo)數(shù)可以通過各個簡單函數(shù)導(dǎo)數(shù)的乘積來計算。

鏈?zhǔn)椒▌t

簡化梯度計算：在神經(jīng)網(wǎng)絡(luò)中，損失函數(shù)通常是一個復(fù)合函數(shù)，由多個層的輸出和激活函數(shù)組合而成。鏈?zhǔn)椒▌t允許我們將這個復(fù)雜的復(fù)合函數(shù)的梯度計算分解為一系列簡單的局部梯度計算，從而簡化了梯度計算的過程。
高效計算梯度：通過鏈?zhǔn)椒▌t，我們可以從輸出層開始，逐層向前計算每個參數(shù)的梯度。這種逐層計算的方式避免了重復(fù)計算，提高了梯度計算的效率。
支持多層網(wǎng)絡(luò)結(jié)構(gòu)：鏈?zhǔn)椒▌t不僅適用于簡單的兩層神經(jīng)網(wǎng)絡(luò)，還可以擴(kuò)展到具有任意多層結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)。這使得我們能夠訓(xùn)練和優(yōu)化更加復(fù)雜的模型。

偏導(dǎo)數(shù)：偏導(dǎo)數(shù)是多元函數(shù)中對單一變量求導(dǎo)的結(jié)果，它在

反向傳播中用于量化損失函數(shù)隨參數(shù)變化的敏感度，從而指導(dǎo)參數(shù)優(yōu)化。

偏導(dǎo)數(shù)

偏導(dǎo)數(shù)的定義：
- 偏導(dǎo)數(shù)是指在多元函數(shù)中，對其中一個變量求導(dǎo)，而將其余變量視為常數(shù)的導(dǎo)數(shù)。
- 在神經(jīng)網(wǎng)絡(luò)中，偏導(dǎo)數(shù)用于量化損失函數(shù)相對于模型參數(shù)（如權(quán)重和偏置）的變化率。
反向傳播的目標(biāo)：
- 反向傳播的目標(biāo)是計算損失函數(shù)相對于每個參數(shù)的偏導(dǎo)數(shù)，以便使用優(yōu)化算法（如梯度下降）來更新參數(shù)。
- 這些偏導(dǎo)數(shù)構(gòu)成了梯度，指導(dǎo)了參數(shù)更新的方向和幅度。
計算過程：
- 輸出層偏導(dǎo)數(shù)：首先計算損失函數(shù)相對于輸出層神經(jīng)元輸出的偏導(dǎo)數(shù)。這通常直接依賴于所選的損失函數(shù)。
- 隱藏層偏導(dǎo)數(shù)：使用鏈?zhǔn)椒▌t，將輸出層的偏導(dǎo)數(shù)向后傳播到隱藏層。對于隱藏層中的每個神經(jīng)元，計算其輸出相對于下一層神經(jīng)元輸入的偏導(dǎo)數(shù)，并與下一層傳回的偏導(dǎo)數(shù)相乘，累積得到該神經(jīng)元對損失函數(shù)的總偏導(dǎo)數(shù)。
- 參數(shù)偏導(dǎo)數(shù)：在計算了輸出層和隱藏層的偏導(dǎo)數(shù)之后，我們需要進(jìn)一步計算損失函數(shù)相對于網(wǎng)絡(luò)參數(shù)的偏導(dǎo)數(shù)，即權(quán)重和偏置的偏導(dǎo)數(shù)。

三、反向傳播的案例：簡單神經(jīng)網(wǎng)絡(luò)

1. 網(wǎng)絡(luò)結(jié)構(gòu)

假設(shè)我們有一個簡單的兩層神經(jīng)網(wǎng)絡(luò)，結(jié)構(gòu)如下：
輸入層：2個神經(jīng)元（輸入特征 x1 和 x2）
隱藏層：2個神經(jīng)元（帶有激活函數(shù) sigmoid）
輸出層：1個神經(jīng)元（帶有激活函數(shù) sigmoid）
網(wǎng)絡(luò)的權(quán)重和偏置如下（這些值是隨機(jī)初始化的，實際情況中會使用隨機(jī)初始化）：
輸入層到隱藏層的權(quán)重矩陣 W1：[[0.5, 0.3], [0.2, 0.4]]
隱藏層到輸出層的權(quán)重向量 W2：[0.6, 0.7]
隱藏層的偏置向量 b1：[0.1, 0.2]
輸出層的偏置 b2：0.3

2. 前向傳播

給定輸入 [0.5, 0.3]，進(jìn)行前向傳播：
隱藏層輸入：[0.5*0.5 + 0.3*0.2 + 0.1, 0.5*0.3 + 0.3*0.4 + 0.2] = [0.31, 0.29]
隱藏層輸出（經(jīng)過 sigmoid 激活函數(shù)）：[sigmoid(0.31), sigmoid(0.29)] ≈ [0.57, 0.57]
輸出層輸入：0.6*0.57 + 0.7*0.57 + 0.3 = 0.71
輸出層輸出（預(yù)測值，經(jīng)過 sigmoid 激活函數(shù)）：sigmoid(0.71) ≈ 0.67

3. 損失計算

假設(shè)真實標(biāo)簽是 0.8，使用均方誤差（MSE）計算損失：
損失 = (0.8 - 0.67)^2 ≈ 0.017

4. 反向傳播：計算損失函數(shù)相對于網(wǎng)絡(luò)參數(shù)的偏導(dǎo)數(shù)，并從輸出層開始反向傳播誤差。

輸出層偏導(dǎo)數(shù)：
- 損失函數(shù)對輸出層輸入的偏導(dǎo)數(shù)（δ2）：2 * (0.67 - 0.8) * sigmoid_derivative(0.71) ≈ -0.05
- sigmoid 函數(shù)的導(dǎo)數(shù)：sigmoid(x) * (1 - sigmoid(x))
隱藏層偏導(dǎo)數(shù)：
- 損失函數(shù)對隱藏層每個神經(jīng)元輸出的偏導(dǎo)數(shù)（δ1）：[δ2 * 0.6 * sigmoid_derivative(0.31), δ2 * 0.7 * sigmoid_derivative(0.29)]
- 計算后得到 δ1 ≈ [-0.01, -0.01]（這里簡化了計算，實際值可能有所不同）
參數(shù)偏導(dǎo)數(shù)：
- 對于權(quán)重 W2：[δ2 * 隱藏層輸出1, δ2 * 隱藏層輸出2] = [-0.03, -0.04]
- 對于偏置 b2：δ2 = -0.05
- 對于權(quán)重 W1 和偏置 b1，需要更復(fù)雜的計算，因為它們影響到隱藏層的輸出，進(jìn)而影響到輸出層的輸入和最終的損失。這些偏導(dǎo)數(shù)依賴于 δ1 和輸入層的值。