Neural network

神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡（Neural Network）是什么？神經(jīng)網(wǎng)絡是由大量的節(jié)點（“神經(jīng)元”）相互連接而成的網(wǎng)絡結(jié)構(gòu)，這些節(jié)點在網(wǎng)絡中相互連接，可以處理復雜的數(shù)據(jù)輸入，執(zhí)行各種任務，如分類、回歸、模式識別等。

• 前饋神經(jīng)網(wǎng)絡（Feedforward Neural Network）：數(shù)據(jù)在這種網(wǎng)絡中單向流動，從輸入層到輸出層，沒有反饋（即網(wǎng)絡中沒有循環(huán)）。
• 卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network, CNN）：特別適用于處理圖像數(shù)據(jù)，通過卷積運算提取圖像特征。
• 循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network, RNN）：適用于處理序列數(shù)據(jù)，如時間序列分析、自然語言處理等。

神經(jīng)網(wǎng)絡的工作原理是什么？模擬人腦神經(jīng)系統(tǒng)的功能，通過多個節(jié)點（神經(jīng)元）的連接和計算，實現(xiàn)非線性模型的組合和輸出。每個節(jié)點接收來自前一層節(jié)點的輸入，進行加權(quán)和，加上偏置，然后通過激活函數(shù)處理，輸出到下一層。

1. 節(jié)點（神經(jīng)元）：神經(jīng)網(wǎng)絡的基本單元，模擬生物神經(jīng)元的功能。
2. 層次：包括輸入層、隱藏層和輸出層。輸入層負責接收輸入數(shù)據(jù)，隱藏層位于輸入層和輸出層之間，進行數(shù)據(jù)的加工和轉(zhuǎn)換，輸出層輸出最終的計算結(jié)果。
3. 權(quán)重：連接不同神經(jīng)元的參數(shù)，代表一個神經(jīng)元輸出對另一個神經(jīng)元輸出的影響力。在訓練過程中，神經(jīng)網(wǎng)絡通過調(diào)整權(quán)重來學習數(shù)據(jù)中的模式。
4. 偏置：加到加權(quán)和上的一個常數(shù)，可以看作是每個神經(jīng)元的一個額外輸入。偏置允許神經(jīng)元即使在所有輸入都為零時也有非零的輸出。
5. 激活函數(shù)：決定神經(jīng)元是否應該被激活（即輸出信號）的函數(shù)。常見的激活函數(shù)包括Sigmoid、ReLU等。

從感知機到神經(jīng)網(wǎng)絡：神經(jīng)網(wǎng)絡起源于20世紀40-50年代的MP模型和感知機，歷經(jīng)兩次低谷與兩次興起。

• 起源：20世紀40-50年代，受生物神經(jīng)元啟發(fā)，MP模型提出，感知機誕生，為神經(jīng)網(wǎng)絡奠定基礎。
• 第一次低谷：60-70年代，因感知機局限性及計算能力不足，神經(jīng)網(wǎng)絡研究陷入低谷。
• 第二次興起：80年代，多層感知機（MLP）及反向傳播算法出現(xiàn)，解決非線性問題，推動神經(jīng)網(wǎng)絡發(fā)展。
• 第二次低谷：90年代，因訓練困難等問題，神經(jīng)網(wǎng)絡再次低谷。
• 深度學習興起：21世紀10年代，硬件性能提升、大數(shù)據(jù)出現(xiàn)，深度學習興起，卷積神經(jīng)網(wǎng)絡（CNN）、循環(huán)神經(jīng)網(wǎng)絡（RNN）等算法涌現(xiàn)，神經(jīng)網(wǎng)絡性能大幅提升。

激活函數(shù)

激活函數(shù)（Activation Function）是什么？激活函數(shù)是神經(jīng)網(wǎng)絡中神經(jīng)元節(jié)點上的一種函數(shù)，用于將神經(jīng)元的輸入映射到輸出。它決定了節(jié)點是否應該被激活（即，是否讓信息通過該節(jié)點繼續(xù)在網(wǎng)絡中向后傳播）。

在神經(jīng)網(wǎng)絡中，輸入通過加權(quán)求和（權(quán)重（W）和偏置（b）），然后被一個函數(shù)作用，這個函數(shù)就是激活函數(shù)。

為什么神經(jīng)網(wǎng)絡需要激活函數(shù)？神經(jīng)網(wǎng)絡中的線性組合（即加權(quán)和）本身只能表示線性關(guān)系。然而，現(xiàn)實世界中的大多數(shù)問題都是非線性的。通過引入激活函數(shù)，神經(jīng)網(wǎng)絡能夠?qū)W習并表示這些非線性關(guān)系，從而解決更復雜的問題。

感知機（perceptron）

在機器學習中，感知機（perceptron）是最簡單的神經(jīng)網(wǎng)絡模型之一，只有輸入層和輸出層，是二分類的線性分類器。它可以解決與（AND）、或（OR）等簡單的線性可分問題，但無法解決復雜的異或（XOR）等非線性可分問題。

perceptron

單層感知機

感知機（perceptron）是什么？感知機是由美國學者Frank Rosenblatt在1957年提出的，它是一種模擬人腦神經(jīng)元工作原理的模型。感知機接收多個輸入信號，通過加權(quán)求和并加上偏置值，然后通過一個激活函數(shù)將結(jié)果轉(zhuǎn)化為輸出信號。

• 輸入層：接收外部信息，不進行信息處理，只是將信息傳遞給輸出層。
• 輸出層：接收輸入層的信號，通過加權(quán)求和并加上偏置值，然后通過一個激活函數(shù)（如階躍函數(shù)）將結(jié)果轉(zhuǎn)化為輸出信號。

為什么要學習這么古老的算法？感知機是神經(jīng)網(wǎng)絡的起源算法，它的工作原理和概念構(gòu)成了深度學習算法的基礎。通過了解感知機，可以掌握神經(jīng)網(wǎng)絡的基本組成單元、工作原理和訓練方法，為后續(xù)學習更復雜的模型打下基礎。

感知機的工作原理是什么？單層感知機通過加權(quán)求和輸入信號并加上偏置值，然后經(jīng)過階躍激活函數(shù)處理，輸出二分類結(jié)果。

1. 加權(quán)求和：輸入信號被送往輸出層時，會被分別乘以各自的權(quán)重，然后求和。
2. 偏置值：用于調(diào)整輸出層的激活閾值。
3. 激活函數(shù)：在單層感知機中，常用的激活函數(shù)是階躍函數(shù)，它將大于某個閾值的結(jié)果輸出為1，小于閾值的結(jié)果輸出為0。

感知機的訓練過程是什么？通過調(diào)整權(quán)重和偏置值，感知機可以在有限的迭代次數(shù)中收斂到一個能夠?qū)⒂柧殧?shù)據(jù)集正確分類的分離超平面。

• 定義損失函數(shù)：通常使用誤分類點到分離超平面的距離作為損失函數(shù)。
• 優(yōu)化方法：采用梯度下降法或其變種來優(yōu)化損失函數(shù)，通過迭代更新權(quán)重和偏置值，使損失函數(shù)不斷減小。
• 迭代更新：在每次迭代中，使用當前的權(quán)重和偏置值對訓練數(shù)據(jù)集進行預測，計算預測值與真實標簽之間的誤差，并根據(jù)誤差值來調(diào)整權(quán)重和偏置值。

多層感知機

多層感知機（Multilayer Perceptron，簡稱MLP）是什么？多層感知機由多個神經(jīng)元層組成，每個神經(jīng)元層與前一層全連接。其基本結(jié)構(gòu)包括輸入層、輸出層和至少一層或多層的隱藏層。

1. 輸入層：接收輸入特征，是數(shù)據(jù)的入口。
2. 隱藏層：位于輸入層和輸出層之間，用于提取特征和進行非線性變換。隱藏層增加了網(wǎng)絡的容量，使其能夠?qū)W習并表示更復雜的函數(shù)。
3. 輸出層：給出最終的預測結(jié)果。

多層感知機的工作原理是什么？多層感知機通過前向傳播產(chǎn)生預測結(jié)果，計算損失函數(shù)評估性能，利用反向傳播算法傳播梯度，并使用優(yōu)化算法更新權(quán)重和偏置以最小化損失。

1. 前向傳播：輸入數(shù)據(jù)通過輸入層進入網(wǎng)絡，經(jīng)過隱藏層的非線性變換，最終到達輸出層并產(chǎn)生預測結(jié)果。
2. 損失函數(shù)計算：根據(jù)預測結(jié)果和真實標簽計算損失函數(shù)，用于評估模型的性能。
3. 反向傳播：通過反向傳播算法，將損失函數(shù)的梯度從輸出層傳播到輸入層，以更新神經(jīng)元之間的權(quán)重和偏置。
4. 參數(shù)更新：使用優(yōu)化算法（如梯度下降）更新權(quán)重和偏置，以最小化損失函數(shù)。

單層感知機 vs 多層感知機：單層感知機僅包含輸入和輸出層，主要用于線性可分問題的分類，而多層感知機則增加了隱藏層和非線性激活函數(shù)，能夠處理復雜的非線性問題。

文章轉(zhuǎn)自微信公眾號@架構(gòu)師帶你玩轉(zhuǎn)AI

#你可能也喜歡這些API文章!

使用這些基本 REST API 最佳實踐構(gòu)建出色的 API

如何使用API：初學者的分步教程

使用NestJS和Prisma構(gòu)建REST API：身份驗證