鍵.png)
使用這些基本 REST API 最佳實(shí)踐構(gòu)建出色的 API
時(shí)間序列（TS）：時(shí)間序列A是有序的n個(gè)數(shù)據(jù)點(diǎn)的集合，分為單變量時(shí)間序列（UTS）和多變量時(shí)間序列（MTS）。UTS中每個(gè)點(diǎn)ai表示一個(gè)數(shù)值，屬于實(shí)數(shù)集R；MTS中每個(gè)點(diǎn)ai表示在同一時(shí)間點(diǎn)觀測(cè)到的多個(gè)變量，每個(gè)點(diǎn)本身就是長(zhǎng)度為d的向量ai屬于Rd。
多變量時(shí)間序列（MTS）：多變量時(shí)間序列A是n個(gè)向量的列表，每個(gè)向量ai有d個(gè)通道。這些通道的觀測(cè)值被表示為標(biāo)量ak,i。MTS可以被視為一組d個(gè)時(shí)間序列，所有ai中的觀測(cè)值都在同一時(shí)間或空間點(diǎn)觀察到。
數(shù)據(jù)集：數(shù)據(jù)集D包含m個(gè)時(shí)間序列和一組預(yù)定義的離散類標(biāo)簽C。每個(gè)時(shí)間序列A(i)可以是單變量或多變量，其標(biāo)簽為y(i) ∈ C。表1總結(jié)了UCR和UEA數(shù)據(jù)集的詳細(xì)信息。
時(shí)間序列分類（TSC）：TSC是一種監(jiān)督學(xué)習(xí)任務(wù)，通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)變量與一組時(shí)間序列之間的關(guān)系。TSC的目標(biāo)是將時(shí)間序列數(shù)據(jù)歸類為有限的類別，并訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型將時(shí)間序列數(shù)據(jù)集映射到具有C個(gè)類別標(biāo)簽的集合Y。在訓(xùn)練完成后，神經(jīng)網(wǎng)絡(luò)輸出一個(gè)包含C個(gè)值的向量，估計(jì)了時(shí)間序列屬于每個(gè)類別的概率。通常在神經(jīng)網(wǎng)絡(luò)的最后一層使用Softmax激活函數(shù)來實(shí)現(xiàn)這一目標(biāo)。
UCR和UEA時(shí)間序列存檔分別是單變量和多變量時(shí)間序列分類基準(zhǔn)數(shù)據(jù)集。UCR數(shù)據(jù)集于2002年提出，包含46個(gè)類別的數(shù)據(jù)集，2015年更新至85個(gè)，2018年擴(kuò)展至128個(gè)，每個(gè)數(shù)據(jù)集樣本都帶有樣本類別標(biāo)簽。UEA數(shù)據(jù)集于2018年發(fā)布，包含30個(gè)多變量數(shù)據(jù)集，例如心電圖、運(yùn)動(dòng)分類、光譜分類等，這些數(shù)據(jù)集在維度數(shù)量、時(shí)間序列數(shù)量、時(shí)間序列類別數(shù)量和時(shí)間序列長(zhǎng)度等方面各不相同。表1總結(jié)了UCR和UEA數(shù)據(jù)集的詳細(xì)信息。
近年來，深度學(xué)習(xí)在TSC中的復(fù)雜問題上展現(xiàn)出顯著的效果。基于深度學(xué)習(xí)的TSC方法主要分為生成式和判別式兩類。生成式方法的目標(biāo)是在訓(xùn)練分類器前找到合適的時(shí)間序列表示，而判別式方法則是直接將原始時(shí)間序列映射到類別概率分布。本綜述主要關(guān)注判別式方法，因?yàn)槠涠说蕉说奶匦员苊饬朔爆嵉念A(yù)處理。本文提出了一種基于網(wǎng)絡(luò)架構(gòu)和應(yīng)用領(lǐng)域的分類方法，如圖1所示，后續(xù)將詳細(xì)討論。
圖1 基于網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用領(lǐng)域的深度學(xué)習(xí)時(shí)間序列分類體系結(jié)構(gòu)
全連接網(wǎng)絡(luò)（Fully Connected network，F(xiàn)C）是最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)架構(gòu)，也稱為多層感知器（MuLtilayer Perceptron，MLP）。如圖2所示，F(xiàn)C中，每一層的所有神經(jīng)元都與下一層的所有神經(jīng)元連接，權(quán)重用于建模連接關(guān)系。MLP在處理時(shí)間序列數(shù)據(jù)時(shí)，存在的一個(gè)主要局限是它們不適合捕捉這種類型數(shù)據(jù)中的時(shí)間依賴關(guān)系。為了解決這個(gè)問題，一些研究將MLP和其他特征提取器相結(jié)合，如動(dòng)態(tài)時(shí)間規(guī)整(DTW)。動(dòng)態(tài)時(shí)間規(guī)整神經(jīng)網(wǎng)絡(luò)(DTWNN)利用DTW的彈性匹配技術(shù)來動(dòng)態(tài)對(duì)齊網(wǎng)絡(luò)層的輸入與權(quán)重。盡管上述模型嘗試解決MLP模型無法捕捉時(shí)間依賴關(guān)系的問題，但它們?cè)诓蹲綍r(shí)間不變特征方面仍存在局限性。此外，MLP模型無法以多尺度方式處理輸入數(shù)據(jù)。許多其他深度學(xué)習(xí)模型更適合處理時(shí)間序列數(shù)據(jù)，例如循環(huán)神經(jīng)網(wǎng)絡(luò)(RNNs)和卷積神經(jīng)網(wǎng)絡(luò)(CNNs)，這些模型專門設(shè)計(jì)用于捕捉時(shí)間序列數(shù)據(jù)中的時(shí)間依賴性和局部模式。
圖2 用于單變量時(shí)間序列分類的多層感知
CNN（卷積神經(jīng)網(wǎng)絡(luò)）最初由Fukushima在1982年提出，靈感來自動(dòng)物視覺皮層。隨著GPU技術(shù)的發(fā)展，Krizhevsky等人實(shí)現(xiàn)了高效的基于GPU的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)Alex Net，并在2012年贏得ImageNet競(jìng)賽，使CNN重新受到關(guān)注。CNN的主要組成部分包括卷積層、池化層和全連接層。卷積層學(xué)習(xí)輸入數(shù)據(jù)的特征表示，圖3顯示了t-LeNet網(wǎng)絡(luò)的架構(gòu)，池化層降低特征圖分辨率并實(shí)現(xiàn)平移不變性，全連接層用于高級(jí)推理，最后一層常使用Softmax分類器進(jìn)行分類任務(wù)。常用的激活函數(shù)包括Sigmoid、tanh和ReLU函數(shù)。池化層和全連接層在CNN中起重要作用，幫助減少參數(shù)數(shù)量、提高魯棒性并簡(jiǎn)化模型復(fù)雜度。
圖3 t-LeNet 時(shí)間序列特定版本網(wǎng)絡(luò)架構(gòu)
3.2.1 改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)
自2012年AlexNet在計(jì)算機(jī)視覺領(lǐng)域取得突破以來，CNN在時(shí)間序列分類方面經(jīng)歷了多次改進(jìn)，形成了改進(jìn)的時(shí)間序列分類CNNs。首個(gè)模型是多通道深度卷積神經(jīng)網(wǎng)絡(luò)（MC-DCNN），針對(duì)多變量數(shù)據(jù)特點(diǎn)對(duì)傳統(tǒng)深度CNN進(jìn)行改進(jìn)。另一種模型是人體活動(dòng)識(shí)別MC-CNN，同時(shí)將1D卷積應(yīng)用于所有輸入通道以捕捉時(shí)間和空間關(guān)系。全卷積網(wǎng)絡(luò)(FCN)和ResNet也被改進(jìn)用于端到端的時(shí)間序列分類。ResNet被用于單變量時(shí)間序列分類，包含3個(gè)殘差塊，后跟1個(gè)GAP層和1個(gè)Softmax分類器。此外，文獻(xiàn)還提出了將ResNet和FCN結(jié)合的方法，以充分利用兩個(gè)網(wǎng)絡(luò)的優(yōu)勢(shì)。一些研究不僅調(diào)整網(wǎng)絡(luò)架構(gòu)，還專注于修改卷積核以適應(yīng)時(shí)間序列分類任務(wù)。擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)（DCNNs）是卷積神經(jīng)網(wǎng)絡(luò)的一種，使用擴(kuò)張卷積增加感受野而不增加參數(shù)數(shù)量。分離型卷積神經(jīng)網(wǎng)絡(luò)（DisjointCNN）顯示將1維卷積核分解為不相交的時(shí)間和空間組件，幾乎不增加計(jì)算成本的情況下提高準(zhǔn)確性。
3.2.2 時(shí)間序列圖像化處理
時(shí)間序列分類的常見方法是將其轉(zhuǎn)化為固定長(zhǎng)度的表示并輸入深度學(xué)習(xí)模型，但對(duì)長(zhǎng)度變化或具有復(fù)雜時(shí)間依賴性的數(shù)據(jù)具有挑戰(zhàn)性。一種解決方法是將時(shí)間序列數(shù)據(jù)表示為圖像形式，使模型能學(xué)習(xí)內(nèi)部空間關(guān)系。Wang等人提出將單變量時(shí)間序列數(shù)據(jù)編碼為圖像并使用CNN分類的方法。Hatami等人則將時(shí)間序列轉(zhuǎn)化為2維圖像并用深度CNN分類。此外，Chen等人利用相對(duì)位置矩陣和VGGNet對(duì)2維圖像進(jìn)行分類。Yang等人使用3種圖像編碼方法將多變量時(shí)間序列數(shù)據(jù)編碼為2維圖像。雖然這些方法在某些情況下有效，但將時(shí)間序列表示為2維圖像可能導(dǎo)致信息損失，影響準(zhǔn)確分類。使用特定轉(zhuǎn)換方法（如GASF, GADF和MTF）并沒有明顯改善預(yù)測(cè)結(jié)果。
3.2.3 多尺度卷積
本節(jié)討論了多尺度卷積神經(jīng)網(wǎng)絡(luò)(MCNN)、t-LeNet和多變量卷積神經(jīng)網(wǎng)絡(luò)(MVCNN)等模型，這些模型對(duì)輸入時(shí)間序列進(jìn)行預(yù)處理，以在多尺度序列上應(yīng)用卷積。MCNN結(jié)構(gòu)簡(jiǎn)單，包括2個(gè)卷積層、1個(gè)池化層、全連接層和Softmax層，但涉及大量數(shù)據(jù)預(yù)處理。t-LeNet使用窗口切片和窗口扭曲技術(shù)進(jìn)行數(shù)據(jù)增強(qiáng)，以防止過擬合。受Inception架構(gòu)啟發(fā)，Liu等人設(shè)計(jì)了MVCNN，使用3種尺度的卷積核提取傳感器之間的相互作用特征。Inception-ResNet架構(gòu)包括卷積層、Inception模塊和殘差塊，以提高性能。InceptionTime是一個(gè)集成模型，由5個(gè)相同結(jié)構(gòu)的深度學(xué)習(xí)分類器組成，每個(gè)分類器由兩個(gè)級(jí)聯(lián)的Inception模塊組成。它在UCR基準(zhǔn)測(cè)試中達(dá)到最先進(jìn)性能。此外，還介紹了EEGinception、InceptionFCN、MRes-FCN等模型，這些模型在時(shí)間序列分類中表現(xiàn)優(yōu)秀，具有廣泛的應(yīng)用前景。表2總結(jié)了基于CNN的時(shí)間序列分類模型。
3.3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
RNNs是一種專門處理時(shí)間序列和其他序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，可以處理可變長(zhǎng)度的輸入和輸出，通過在不同層之間建立共享參數(shù)的有向連接實(shí)現(xiàn)。時(shí)間序列分類的RNN模型可以分為序列到序列（（圖4））和序列到單一輸出兩種類型。Dennis等人提出了一種用于時(shí)間序列分類的雙層RNN，以提高模型的并行性。Hermans等人展示了更深層次的循環(huán)神經(jīng)網(wǎng)絡(luò)可以在復(fù)雜的時(shí)間任務(wù)上執(zhí)行分層處理，并更有效地捕獲時(shí)間序列結(jié)構(gòu)。RNNs通常使用通過時(shí)間反向傳播(BPTT)的迭代訓(xùn)練方法進(jìn)行訓(xùn)練，但訓(xùn)練過程中可能出現(xiàn)梯度消失或梯度爆炸問題。為了解決該問題，研究者們提出了可用于深層架構(gòu)的網(wǎng)絡(luò)，如LSTM和GRU。
圖4 兩層循環(huán)神經(jīng)網(wǎng)絡(luò)的架構(gòu)
3.3.2 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)
LSTM通過引入門控記憶單元，解決了梯度消失/梯度爆炸問題，利用隱藏向量和記憶向量控制狀態(tài)更新和輸出，因此在處理序列數(shù)據(jù)問題（如語(yǔ)言翻譯、視頻表示學(xué)習(xí)和圖像字幕生成）中表現(xiàn)出色。在處理時(shí)間序列分類問題時(shí)，通常采用序列到序列注意力網(wǎng)絡(luò) (S2SwA)，該模型結(jié)合兩個(gè)LSTM（編碼器和解碼器）實(shí)現(xiàn)序列到序列學(xué)習(xí)。編碼器LSTM接收任意長(zhǎng)度的輸入時(shí)間序列并提取關(guān)鍵信息，解碼器LSTM基于這些信息構(gòu)建固定長(zhǎng)度的序列，這些序列作為自動(dòng)提取的分類特征，為時(shí)間序列的準(zhǔn)確分類提供支持。
3.3.3 門控循環(huán)單元
GRU是一種備受青睞的循環(huán)神經(jīng)網(wǎng)絡(luò)變體，盡管其問世時(shí)間晚于LSTM，但其架構(gòu)更為簡(jiǎn)潔。相較于LSTM，GRU僅包含重置門和更新門，這使其在計(jì)算上更為高效，同時(shí)對(duì)實(shí)現(xiàn)泛化的數(shù)據(jù)需求更少。特別的是，基于GRU的序列自編碼器專為處理時(shí)間序列分類問題而設(shè)計(jì)。該模型采用GRU作為編碼器和解碼器，從而能夠處理不同長(zhǎng)度的輸入并產(chǎn)生固定大小的輸出。更值得一提的是，通過在大規(guī)模無標(biāo)簽數(shù)據(jù)上對(duì)參數(shù)進(jìn)行預(yù)訓(xùn)練，該模型的準(zhǔn)確性得到了顯著提升。
3.3.4 混合模型
在時(shí)間序列分類中，CNN和RNN結(jié)合使用以提高模型性能。CNN擅長(zhǎng)學(xué)習(xí)空間關(guān)系，如時(shí)間序列中不同時(shí)間步的通道模式和相關(guān)性，而RNN擅長(zhǎng)學(xué)習(xí)時(shí)間依賴關(guān)系，捕捉時(shí)間序列的動(dòng)態(tài)特性。這兩種模型的結(jié)合可以同時(shí)學(xué)習(xí)空間和時(shí)間特征，提高分類性能。然而，RNN在時(shí)間序列分類中的應(yīng)用較少，原因包括：
CNN在各種應(yīng)用中是最成功的深度學(xué)習(xí)框架之一，但無法有效捕獲長(zhǎng)距離依賴關(guān)系和整體順序。因此，一些研究將RNN與CNN結(jié)合使用。然而，RNN的計(jì)算代價(jià)較高，捕捉長(zhǎng)距離依賴性的能力有限。相對(duì)而言，注意力模型可以捕捉長(zhǎng)距離依賴關(guān)系，提供更多上下文信息，提高模型的學(xué)習(xí)能力。注意力機(jī)制旨在關(guān)注重要特征并抑制不必要的特征，從而提高網(wǎng)絡(luò)的表示能力。注意力模型在自然語(yǔ)言處理領(lǐng)域已經(jīng)獲得成功，也有許多研究嘗試將其應(yīng)用于計(jì)算機(jī)視覺和時(shí)間序列分析等領(lǐng)域。
3.4.1 注意力機(jī)制
注意力機(jī)制最初由Bahdanau等人提出，用于改進(jìn)神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯中的編碼器-解碼器模型性能。注意力機(jī)制允許解碼器通過上下文向量關(guān)注源中的每個(gè)單詞，如圖5。已被證明在各種自然語(yǔ)言處理任務(wù)中非常有效，能夠捕捉文本中的長(zhǎng)期依賴關(guān)系。注意力模塊已被嵌入到編碼器-解碼器模型中以提高模型性能。在時(shí)間序列分類任務(wù)中，注意力機(jī)制也被證明有效。許多研究嘗試在應(yīng)用注意力之前使用CNN對(duì)時(shí)間序列進(jìn)行編碼。交叉注意力穩(wěn)定全卷積神經(jīng)網(wǎng)絡(luò)和局部感知可解釋卷積注意力網(wǎng)絡(luò)運(yùn)用了注意機(jī)制長(zhǎng)期依賴關(guān)系來處理多變量時(shí)間序列分類任務(wù)。已經(jīng)提出了幾種注意力模型以提高網(wǎng)絡(luò)性能，包括Squeeze-and-Excitation(SE)和多尺度注意力卷積神經(jīng)網(wǎng)絡(luò)(MACNN)。
圖5 自注意力機(jī)制
3.4.2 Transformers
近年來，Transformer在自然語(yǔ)言處理和計(jì)算機(jī)視覺任務(wù)中取得突破，成為深度學(xué)習(xí)領(lǐng)域的基礎(chǔ)模型。其具有編碼器-解碼器結(jié)構(gòu)，接受源語(yǔ)言的詞序列作為輸入，并生成目標(biāo)語(yǔ)言的翻譯文本。Transformer架構(gòu)基于點(diǎn)積操作來尋找各輸入片段之間的關(guān)聯(lián)或相關(guān)性。用于分類的Transformer通常采用簡(jiǎn)單的編碼器結(jié)構(gòu)，包括注意力層和前饋層，圖6為Transformer的多 頭注意力模塊。一些研究應(yīng)用多頭注意力機(jī)制對(duì)臨床時(shí)間序列進(jìn)行分類。另一項(xiàng)研究使用頻率系數(shù)和短時(shí)傅里葉變換頻譜等時(shí)頻特征作為輸入嵌入到transformers中。還有一項(xiàng)研究應(yīng)用于原始光學(xué)衛(wèi)星時(shí)間序列分類，采用高斯過程插值嵌入方法，獲得更好的表現(xiàn)。
圖6 多頭注意力模塊
3.4.3 自監(jiān)督注意力模型
自監(jiān)督學(xué)習(xí)是一種使用自動(dòng)標(biāo)注而非人工標(biāo)注的數(shù)據(jù)集進(jìn)行模型學(xué)習(xí)的方法，適用于手動(dòng)標(biāo)注困難或成本高的情況，以及有大量可用數(shù)據(jù)用于訓(xùn)練的場(chǎng)景。在時(shí)間序列分類中，可以通過自動(dòng)生成時(shí)間序列數(shù)據(jù)的標(biāo)簽來應(yīng)用自監(jiān)督學(xué)習(xí)，例如訓(xùn)練模型預(yù)測(cè)序列中的下一個(gè)時(shí)間步或某個(gè)時(shí)間步的時(shí)間序列值。基于Transformer的自監(jiān)督學(xué)習(xí)模型如BERT已被用于處理時(shí)間序列分類問題，如BENDER設(shè)計(jì)了用于時(shí)間序列的編碼器替代wav2vec，用于處理時(shí)間序列數(shù)據(jù)。另一項(xiàng)研究引入了一個(gè)基于Transformer的框架(TST)，將標(biāo)準(zhǔn)Transformer應(yīng)用于多變量時(shí)間序列領(lǐng)域。然而，由于自動(dòng)生成的標(biāo)簽可能無法準(zhǔn)確反映數(shù)據(jù)中的真實(shí)潛在關(guān)系，所學(xué)習(xí)的特征和預(yù)測(cè)質(zhì)量可能不如監(jiān)督學(xué)習(xí)產(chǎn)生的好。表3總結(jié)了 基于注意力的時(shí)間序列分類模型。
時(shí)間序列分類技術(shù)在人類活動(dòng)識(shí)別、腦電圖情緒識(shí)別以及股票預(yù)測(cè)等領(lǐng)域具有廣泛應(yīng)用。本節(jié)將重點(diǎn)介紹其在人類活動(dòng)識(shí)別和腦電圖情緒識(shí)別方面的應(yīng)用，并概述這些領(lǐng)域的最新進(jìn)展和所面臨的挑戰(zhàn)。
HAR（人類活動(dòng)識(shí)別）通過對(duì)傳感器或儀器收集的數(shù)據(jù)進(jìn)行分析，用于識(shí)別或監(jiān)測(cè)人類活動(dòng)。隨著可穿戴技術(shù)和物聯(lián)網(wǎng)的發(fā)展，HAR的應(yīng)用變得更加廣泛，包括醫(yī)療保健、健身監(jiān)測(cè)、智能家居以及輔助生活等。用于收集HAR數(shù)據(jù)的設(shè)備主要有視覺設(shè)備和基于傳感器的設(shè)備，其中基于傳感器的設(shè)備又分為對(duì)象傳感器、環(huán)境傳感器和可穿戴傳感器。大多數(shù)HAR研究使用可穿戴傳感器或視覺設(shè)備的數(shù)據(jù)。在可穿戴設(shè)備中，主要使用的傳感器包括加速度計(jì)、陀螺儀和磁傳感器，這些傳感器的數(shù)據(jù)被分成時(shí)間窗口，然后學(xué)習(xí)一個(gè)將每個(gè)時(shí)間窗口的多元傳感器數(shù)據(jù)映射到一組活動(dòng)的函數(shù)。用于HAR的深度學(xué)習(xí)方法包括CNN和RNN，以及混合的CNNRNN模型。
4.1.1 卷積神經(jīng)網(wǎng)絡(luò)
在HAR（活動(dòng)識(shí)別）中，卷積核的常見類型有k×1核，該核將k個(gè)時(shí)間步一起卷積，并在每個(gè)時(shí)間序列上移動(dòng)。卷積層的輸出被展平并通過全連接層處理，然后進(jìn)行分類。Ronao等人評(píng)估了HAR的CNN模型，研究了層數(shù)、卷積核數(shù)量和大小對(duì)模型的影響。Ignatov使用單層CNN并用統(tǒng)計(jì)特征增強(qiáng)提取的特征。另一種方法是使用1D-CNN進(jìn)行特征提取，具有大卷積核尺寸和淺層數(shù)。特征被拼接并使用兩個(gè)全連接層融合。最后，通過softmax進(jìn)行分類。DCNN使用離散傅立葉變換預(yù)處理傳感器數(shù)據(jù)，將IMU數(shù)據(jù)轉(zhuǎn)換為頻率信號(hào)，然后使用2D卷積提取組合的時(shí)間和頻率特征。Lee等人對(duì)三軸加速度計(jì)數(shù)據(jù)進(jìn)行預(yù)處理，轉(zhuǎn)換為幅度向量，并使用不同核大小的CNN并行提取不同尺度的特征。Xu等人在2DCNN和ResNet模型中使用可變形卷積，發(fā)現(xiàn)這些模型比非可變形模型表現(xiàn)更好。
4.1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
在HAR領(lǐng)域，已經(jīng)提出了多種LSTM模型。Mura設(shè)計(jì)了3種多層LSTM模型，包括單向LSTM、雙向LSTM和級(jí)聯(lián)LSTM。Zeng等人在LSTM中添加了兩個(gè)注意力層，即傳感器注意力層和時(shí)間注意力層，還包括了一個(gè)稱為“連續(xù)注意力”的正則化項(xiàng)。Guan通過在每個(gè)訓(xùn)練時(shí)期保存模型，然后根據(jù)驗(yàn)證集的結(jié)果選擇最佳數(shù)量的模型，創(chuàng)建了一個(gè)集成LSTM模型，以減少模型的方差。
4.1.3 混合模型
最近的研究主要集中在混合模型上，結(jié)合CNN和RNN。包括Deep-ConvLSTM、Singh等人的模型、Challa等人的模型、Nafea等人的模型、Mekruksavanich的模型和Chen等人的模型。其中Deep-ConvLSTM由4個(gè)時(shí)間卷積層和2個(gè)LSTM層組成，性能優(yōu)于等效的CNN。Singh等人的模型使用CNN對(duì)空間數(shù)據(jù)編碼，然后用LSTM對(duì)時(shí)間數(shù)據(jù)編碼，最后用自注意力層對(duì)時(shí)間步加權(quán)。Challa等人的模型用3個(gè)并行1D-CNN和2個(gè)雙向LSTM層。Nafea等人的模型使用不同核大小和雙向LSTMs的1D-CNNs。Mekruksavanich比較了4層的CNN-LSTM模型與小模型，發(fā)現(xiàn)額外卷積層可提高性能。Chen等人的模型使用并行1D-CNN，每個(gè)有不同卷積核和池化大小，提取與不同類型活動(dòng)相關(guān)的特征。
情緒在人類決策、規(guī)劃等心理活動(dòng)中起著關(guān)鍵作用，可通過面部表情、語(yǔ)言、行為或生理信號(hào)識(shí)別。腦電圖(EEG)是一種非侵入性的生理信號(hào)，可直接測(cè)量情緒狀態(tài)下的腦電活動(dòng)，具有高時(shí)間分辨率、快數(shù)據(jù)采集和傳輸速度、低成本等優(yōu)點(diǎn)，是自發(fā)和非主觀地反映人類情緒狀態(tài)的信號(hào)，廣泛應(yīng)用于情緒識(shí)別研究。然而，EEG信號(hào)的非平穩(wěn)性、非線性特性以及偽影影響使得基于腦電圖的情緒識(shí)別極具挑戰(zhàn)性。本綜述的研究范圍僅提供了使用深度學(xué)習(xí)進(jìn)行腦電圖情緒識(shí)別研究的簡(jiǎn)要概述。深度學(xué)習(xí)方法可分為CNN、RNN以及混合的CNN-RNN模型，也有部分研究使用Transformer模型，但目前較少。
4.2.1 卷積神經(jīng)網(wǎng)絡(luò)
在情緒識(shí)別研究中，EEG信號(hào)通常使用1D-CNN架構(gòu)的卷積層進(jìn)行處理，識(shí)別EEG信號(hào)中的模式。針對(duì)樣本數(shù)量不平衡的問題，提出了基于1D-CNN和BorderlineSMOTE數(shù)據(jù)增強(qiáng)方法的情感識(shí)別模型。此外，還提出了具有優(yōu)先級(jí)概念的梯度優(yōu)先粒子群優(yōu)化方法，用于選擇深度學(xué)習(xí)模型結(jié)構(gòu)。另一種基于節(jié)律選擇的1D-CNN模型用于使用多通道EEG信號(hào)進(jìn)行自動(dòng)情感識(shí)別。2D-CNN架構(gòu)也廣泛用于醫(yī)學(xué)數(shù)據(jù)的分割和分類，包括情緒識(shí)別。然而，1D-CNN和2D-CNN在處理復(fù)雜且高度變化的數(shù)據(jù)時(shí)可能表現(xiàn)不佳。
4.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
RNN是一種用于時(shí)間序列分析的深度學(xué)習(xí)模型，常用于EEG信號(hào)情感識(shí)別。Algarni等人提出了一種基于深度學(xué)習(xí)的EEG信號(hào)情感識(shí)別方法，包括數(shù)據(jù)選擇、特征提取、特征選擇和分類四個(gè)階段。他們使用了統(tǒng)計(jì)特征、小波特征和Hurst指數(shù)特征，并使用BGWO進(jìn)行特征選擇，以提高模型性能。在分類階段，采用了堆疊的雙向長(zhǎng)短時(shí)記憶(BiLSTM)模型來識(shí)別人類的情感。Sharma等人采用LSTM從經(jīng)過特征提取和降維處理后的數(shù)據(jù)中提取情緒變化特征，用于在線情緒識(shí)別。R2G-STNN結(jié)合了空間和時(shí)間神經(jīng)網(wǎng)絡(luò)模型，通過分層學(xué)習(xí)過程來提取空間-時(shí)間EEG特征。然而，RNN在EEG信號(hào)分類中的一個(gè)關(guān)鍵局限是在訓(xùn)練過程中會(huì)出現(xiàn)梯度消失問題，這可能導(dǎo)致模型在EEG信號(hào)分類任務(wù)中整體性能下降。
4.2.3 混合模型
最近的研究主要集中在混合模型，結(jié)合了CNN和RNN的優(yōu)點(diǎn)。這些模型包括Xiao等人的4維空間-頻譜-時(shí)間表示，Kang等人的CNN LSTM模型，Iyer等人的基于CNN和LSTM的混合模型，Kim等人的具有獨(dú)立分支的基于注意力機(jī)制LSTM網(wǎng)絡(luò)和CNN，以及Rajpoot等人的新型深度學(xué)習(xí)框架。這些模型在EEG信號(hào)的處理中，通過不同的方式提取特征，并進(jìn)行分類。此外，還有EEGFuseNet模型，通過集成CNN, RNN和生成對(duì)抗網(wǎng)絡(luò)來整合不同來源EEG的特征信息。
近年來，深度學(xué)習(xí)在時(shí)間序列分類（TSC）領(lǐng)域非常活躍，但尚未出現(xiàn)主導(dǎo)其他方法的模型。待解決的問題和未來研究趨勢(shì)包括：
本文章轉(zhuǎn)載微信公眾號(hào)@算法進(jìn)階
對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力
一鍵對(duì)比試用API 限時(shí)免費(fèi)