特级毛片免费观看视频,在线观看男女爱视频网站 ,国产精品亚洲精品观看不卡

梯度下降

一、梯度下降的本質

機器學習“三板斧”：選擇模型家族，定義損失函數量化預測誤差，通過優化算法找到最小化損失的最優模型參數。

機器學習 vs?人類學習

定義一個函數集合（模型選擇）
- 目標：確定一個合適的假設空間或模型家族。
- 示例：線性回歸、邏輯回歸、神經網絡、決策樹等。
- 考慮因素：問題的復雜性、數據的性質、計算資源等。
判斷函數的好壞（損失函數）
- 目標：量化模型預測與真實結果之間的差異。
- 示例：均方誤差（MSE）用于回歸；交叉熵損失用于分類。
- 考慮因素：損失的性質（凸性、可微性等）、易于優化、對異常值的魯棒性等。
選擇最好的函數（優化算法）
- 目標：在函數集合中找到最小化損失函數的模型參數。
- 主要方法：梯度下降及其變種（隨機梯度下降、批量梯度下降、Adam等）。
- 考慮因素：收斂速度、計算效率、參數調整的復雜性等。

梯度下降的本質：用于求解機器學習和深度學習中的最優化問題。

梯度下降的基本思想是從一個初始點出發，沿著損失函數的負梯度方向不斷更新參數，直到達到一個局部最小值或者全局最小值。

梯度下降的基本思想

在梯度下降中，利用方向導數的最小值（即梯度的反方向）來更新參數，從而逼近函數的最小值。

方向導數：在梯度下降算法中，方向導數用于確定函數值下降的最快方向。

定義：方向導數是函數在某一點沿特定方向的變化率。對于多元函數，它表示函數值在該點沿某一確定方向上的瞬時變化率。
性質：方向導數的大小取決于函數在該點的梯度以及方向向量的選擇。當方向向量與梯度方向相同時，方向導數達到最大值；當方向向量與梯度方向相反時，方向導數達到最小值。
與梯度下降的關系：在梯度下降算法中，方向導數用于確定函數值下降的最快方向。通過計算負梯度方向上的方向導數，可以找到使函數值減小的方向，從而更新參數以逼近函數的最小值。

方向導數

梯度（Gradient）：在梯度下降算法中，梯度提供了函數下降的方向和速度信息。

定義：梯度是一個向量，它的每個分量是函數對相應自變量的偏導數。對于多元函數，梯度表示函數在某一點的最大變化率和該變化發生的方向。
性質：梯度的方向總是指向函數值增長最快的方向，而梯度的大小（模長）表示該方向上的最大變化率。在函數的駐點（梯度為零的點）處，函數可能達到局部極小值、局部極大值或鞍點。
與梯度下降的關系：梯度下降算法利用梯度的信息來更新參數，以最小化目標函數。在每一步迭代中，算法計算當前點的梯度，并沿著梯度的反方向（負梯度方向）移動一定的步長，這個步長通常由學習率控制。

梯度

批量梯度下降（BGD）：在每次迭代中，批量梯度下降使用整個數據集來計算損失函數的梯度，并根據這個梯度來更新模型的所有參數。

批量梯度下降（BGD）

優點：穩定收斂：由于使用了整個數據集來計算梯度，批量梯度下降通常能夠更穩定地收斂到損失函數的最小值，避免了在優化過程中的劇烈波動。全局視角：它考慮了數據集中的所有樣本來進行參數更新，這有助于模型獲得一個全局的視角，而不是僅僅關注于單個樣本或一小部分樣本。易于實現：批量梯度下降算法相對簡單，容易理解和實現。
缺點：計算成本高：當數據集非常大時，批量梯度下降的計算成本會變得非常高，因為每次迭代都需要處理整個數據集。內存消耗大：由于需要同時加載整個數據集到內存中，批量梯度下降對于內存的需求也相對較高。更新速度慢：由于每次更新都是基于整個數據集的平均梯度，因此在某些情況下，批量梯度下降可能會比隨機梯度下降更慢地更新參數。

隨機梯度下降（SGD）：與批量梯度下降不同，隨機梯度下降在每次迭代中僅隨機選擇一個樣本來計算損失函數的梯度，并根據這個梯度來更新模型的一個或多個參數。