国产欧美亚洲精品,91精品一区二区综合在线,精品午夜寂寞黄网站在线

1.2 反饋神經網絡

反饋神經網絡（Feedback Neural Network）中，神經元不但可以接收其他神經元的信號，而且可以接收自己的反饋信號。和前饋神經網絡相比，反饋神經網絡中的神經元具有記憶功能，在不同時刻具有不同的狀態。反饋神經網絡中的信息傳播可以是單向也可以是雙向傳播，因此可以用一個有向循環圖或者無向圖來表示。

常見的反饋神經網絡包括循環神經網絡(RNN)、長短期記憶網絡(LSTM)、Hopfield網絡和玻爾茲曼機。

二、經典神經網絡模型介紹

全連接神經網絡（FCN）

全連接神經網絡是深度學習最常見的網絡結構，有三種基本類型的層: 輸入層、隱藏層和輸出層。當前層的每個神經元都會接入前一層每個神經元的輸入信號。在每個連接過程中，來自前一層的信號被乘以一個權重，增加一個偏置，然后通過一個非線性激活函數，通過簡單非線性函數的多次復合，實現輸入空間到輸出空間的復雜映射。

卷積神經網絡（CNN）

圖像具有非常高的維數，因此訓練一個標準的前饋網絡來識別圖像將需要成千上萬的輸入神經元，除了顯而易見的高計算量，還可能導致許多與神經網絡中的維數災難相關的問題。卷積神經網絡提供了一個解決方案，利用卷積和池化層，來降低圖像的維度。由于卷積層是可訓練的，但參數明顯少于標準的隱藏層，它能夠突出圖像的重要部分，并向前傳播每個重要部分。傳統的CNNs中，最后幾層是隱藏層，用來處理“壓縮的圖像信息”。

殘差網絡(ResNet)

深層前饋神經網絡有一個問題，隨著網絡層數的增加，網絡會發生了退化（degradation）現象：隨著網絡層數的增多，訓練集loss逐漸下降，然后趨于飽和，當再增加網絡深度的話，訓練集loss反而會增大。為了解決這個問題，殘差網絡使用跳躍連接實現信號跨層傳播。

生成對抗網絡(GAN)

生成對抗網絡是一種專門設計用于生成圖像的網絡，由兩個網絡組成: 一個鑒別器和一個生成器。鑒別器的任務是區分圖像是從數據集中提取的還是由生成器生成的，生成器的任務是生成足夠逼真的圖像，以至于鑒別器無法區分圖像是否真實。隨著時間的推移，在謹慎的監督下，這兩個對手相互競爭，彼此都想成功地改進對方。最終的結果是一個訓練有素的生成器，可以生成逼真的圖像。鑒別器是一個卷積神經網絡，其目標是最大限度地提高識別真假圖像的準確率，而生成器是一個反卷積神經網絡，其目標是最小化鑒別器的性能。

變分自動編碼器(VAE)

自動編碼器學習一個輸入（可以是圖像或文本序列）的壓縮表示，例如，壓縮輸入，然后解壓縮回來匹配原始輸入，而變分自動編碼器學習表示的數據的概率分布的參數。不僅僅是學習一個代表數據的函數，它還獲得了更詳細和細致的數據視圖，從分布中抽樣并生成新的輸入數據樣本。

Transformer

Transformer是Google Brain提出的經典網絡結構，由經典的Encoder-Decoder模型組成。在上圖中，整個Encoder層由6個左邊Nx部分的結構組成。整個Decoder由6個右邊Nx部分的框架組成，Decoder輸出的結果經過一個線性層變換后，經過softmax層計算，輸出最終的預測結果。

循環神經網絡 (RNN)

循環神經網絡是一種特殊類型的網絡，它包含環和自重復，因此被稱為“循環”。由于允許信息存儲在網絡中，RNNs 使用以前訓練中的推理來對即將到來的事件做出更好、更明智的決定。為了做到這一點，它使用以前的預測作為“上下文信號”。由于其性質，RNNs 通常用于處理順序任務，如逐字生成文本或預測時間序列數據(例如股票價格)。它們還可以處理任意大小的輸入。

長短期記憶網絡(LSTM)

LSTM結構是專門為解決RNN在學習長的的上下文信息出現的梯度消失、爆炸問題而設計的，結構中加入了內存塊。這些模塊可以看作是計算機中的內存芯片——每個模塊包含幾個循環連接的內存單元和三個門(輸入、輸出和遺忘，相當于寫入、讀取和重置)。信息的輸入只能通過每個門與神經元進行互動，因此這些門學會智能地打開和關閉，以防止梯度爆炸或消失。

Hopfield網絡

Hopfield神經網絡是一種單層互相全連接的反饋型神經網絡。每個神經元既是輸入也是輸出，網絡中的每一個神經元都將自己的輸出通過連接權傳送給所有其它神經元，同時又都接收所有其它神經元傳遞過來的信息。

三、網絡結構設計的思考

實踐中，我們除了結合任務直接選用一些經典神經模型做驗證，有時也需要對網絡結構做設計優化。網絡結構的設計需要考慮的2個實質問題是：

神經單元應該如何連接？
需要有多少神經元？

3.1 神經單元應該如何連接？

也就是神經網絡基本的架構如何設計，有兩種設計思路：

將人類先驗嵌入到模型結構設計例如，基于圖像任務的平移不變性的卷積假設設計的CNN，或者基于語言的遞歸性質的遞歸假設設計的RNN。對于先驗知識，可以憑借經驗做網絡結構設計無疑是相對高效的，但太多復雜經驗的注入，一來不夠“優雅”，二來如果經驗有誤，設計的結構可能就失效了。
通過機器動態學習和計算出的結構如神經網絡架構搜索（NAS），常見的搜索方法包括：隨機搜索、貝葉斯優化、進化算法、強化學習、基于梯度的算法。

3.2、需要有多少神經元？

神經網絡由輸入層、隱藏層與輸出層構成：

輸入層：為數據特征輸入層，輸入數據特征維數就對應著網絡的神經元數。
隱藏層：即網絡的中間層，其作用接受前一層網絡輸出作為當前的輸入值，并計算輸出當前結果到下一層。隱藏網絡神經元個數直接影響模型的擬合能力。-輸出層：為最終結果輸出的網絡層。輸出層的神經元個數代表了分類類別的個數（注：在做二分類時，如果輸出層的激活函數采用sigmoid，輸出層的神經元個數為1個；如果采用softmax分類器，輸出層神經元個數為2個是與分類類別個數對應的；）

對于網絡的輸入層、輸出層的神經元通常是確定的，主要需要考慮的是隱藏層的深度及寬度，在忽略網絡退化問題的前提下，通常隱藏層的神經元（計算單元）的越多，模型有更多的容量（capcity）去達到更好的擬合效果。

搜索合適的網絡深度及寬度，常用有人工調參、隨機搜索、貝葉斯優化等方法。這里有個引申問題：

增加神經網絡寬度vs深度的效果有什么差異呢？

1、擬合效果上，增加深度遠比寬度高效同等效果上，要增加的寬度遠大于增加的深度。在Delalleau和Bengio等人的論文《Shallow vs. Deep sum-product networks》中提出，對于一些特意構造的多項式函數，淺層網絡需要指數增長的神經元個數，其擬合效果才能匹配上多項式增長的深層網絡。
2、參數規模上，增加深度遠比寬度需要的參數少