圖1 時間序列表示方法的基本概念
圖2 關鍵設計元素和下游評估協議
表1 本文與相關論文調查范圍的對比
圖3 選定的論文定量總結
表2 通用時間序列表示學習分類
是按時間順序排列的數據點集合，每個點代表特定時間的觀測值。時間序列可以是單變量或多變量，取決于涉及的變量數量。音頻和視頻數據是具有更多維度的時間序列的特例。時間間隔可以等距，代表可測量的量，如溫度、銷售數字或隨時間變化的任何現象。不規則采樣時間序列是指時間序列中觀察之間的間隔不一致或不按規律排列，通常出現在數據隨機收集或事件不規則且零星發生的情況下，例如傳感器故障導致觀察之間的時間間隔不同。時間序列表示學習是指通過學習一個編碼器將原始時間序列映射到隱空間中的表示向量，通常具有與原始時間序列長度相同或更短的長度。當表示向量長度與原始時間序列長度相等時，它按時間戳表示每個時間點的特征向量；當長度小于原始時間序列時，它表示的是壓縮版本，具有減少的維度。時間序列預測是通過建模歷史觀測之間的動態和依賴關系來預測時間序列未來值的方法。它可以進行短期或長期預測，具體取決于預測范圍n。該方法旨在找到最有可能發生的時間序列未來值。時間序列分類旨在將預定義的類標簽分配給一組時間序列，通過訓練分類器學習區分不同類別的鑒別性特征，并自動確定未見過的數據集所屬類別。時間序列外生回歸（TSER）是估計時間序列間關系的方法，常用于預測變量間影響，常采用機器學習算法進行訓練和預測。時間序列聚類（TSCL）是在一組時間序列X中尋找自然組群的過程，目標是通過最大化簇內相似性和簇間差異性，將X劃分為簇G。給定相似度度量函數????(·,·)，對于任意兩個時間序列X_i和X_j，若X_i和X_j屬于同一簇，則????(X_i,X_j)遠大于????(X_i,X_i)。時間序列分割（TSS）旨在為時間序列的子序列分配標簽，其中子序列由連續的時間步驟組成。在狀態轉移中，變化點（CP）被定義為相對于時間序列中狀態變化的一個偏移量。TSS在時間序列中找到一組有序的CPs序列，并為每個段設置起始偏移量和結束偏移量。該方法有助于識別時間序列中的變化點并對其進行分類。時間序列異常檢測（TSAD）旨在識別時間序列中顯著偏離正常行為的異常時間點。TSAD通過學習正常行為的表示，計算未見過的時間序列中所有值的異常分數A，并根據與預定義閾值δ的比較判斷哪些時間點異常。最終，如果a_i>δ，則該時間點被視為異常；否則為正常。時間序列填補（TSI）是填補時間序列缺失值的方法，用現實值替換缺失值，便于后續分析。基于給定時間序列X和二進制變量??，??中0表示缺失，1表示被觀察。TSI生成預測值?X，并用填補后時間序列Ximputed=X⊙??+?X⊙(1???)替換原始缺失值。時間序列檢索是一種搜索方法，旨在找到與查詢時間序列最相似的集合。它根據相似度度量函數在數據集中找到包含指定數量的最相似的時間序列列表。這種方法可以幫助用戶快速找到與查詢時間序列相關的數據。我們通常使用原始時間序列X的定義。在執行下游任務時，我們可以使用表示Z=????(X)，而不是直接使用原始數據。
時間序列具有一些獨特屬性，使得圖像或文本數據的技術難以直接應用。時間依賴性：時間序列對時間變量有依賴性，預測通常涉及考慮過去的觀察。存在局部和全局時間依賴性，需要合適的模型來處理。高噪聲和維度：時間序列數據常包含噪聲和高維度，需要降維和過濾技術來處理。但這也可能導致信息丟失，需要領域知識來選擇合適的方法。變量關系：多變量時間序列中，變量間可能存在隱藏的關系。僅分析有限變量可能不足以理解現象，需要全面考慮變量間的相互作用。可變性和非平穩性：時間序列的統計特性隨時間變化，揭示季節性、趨勢和波動。這需要在頻率域中處理，以捕捉這些變化。語義多樣性：缺乏統一的語義時間序列數據集使得通用表示學習具有挑戰性。子序列的語義多樣性使得模型遷移變得困難。
時間序列的神經網絡架構主要包括：多層感知器（MLP），不適合捕捉時間依賴性和時間不變特征；循環神經網絡（RNN），適合處理時間序列數據，但建模長期依賴性效果不佳，存在梯度消失和爆炸問題；長短期記憶（LSTM）和門控循環單元（GRU）解決了這些問題，適合學習序列數據，具有更好的捕捉長期依賴關系的能力；卷積神經網絡（CNN），應用于時間序列需要將每個時間步驟的值嵌入到圖像格式中，時序卷積網絡（TCN）是一種全卷積網絡，采用因果卷積操作，避免了未來時間步長到過去的信息泄漏；圖神經網絡（GNN），更適合處理時空數據，其核心操作是圖卷積，涉及在相鄰節點之間交換信息；基于注意力的網絡，用于捕獲具有更廣泛感受野的長程依賴關系，通常在CNN和RNN中缺乏；神經常微分方程（Neural ODE），是一種連續時間模型，用于描述隱藏狀態隨時間變化的動態，通常與RNN或其變體結合使用，以處理不規則采樣時間序列，并具有更好的屬性。
這部分研究主要關注通過組合基本構建塊或創新設計神經架構來改善多變量時間序列變量之間的時間依賴性和相互關系。根據調整程度，研究可以分為基礎塊組合和創新設計類別。
基本塊組合，可以在神經架構的網絡級別或模塊級別進行組合，包括網絡級別組合和模塊級組合。網絡級別組合包括基于小波的神經架構、表示學習框架和多任務表示學習方法等。模塊級組合包括使用自編碼器捕獲語音結構、使用可分離的自注意力模塊捕獲視頻的空間和時間相關性、使用預訓練視覺模型處理時間序列數據等。這些方法的研究展示了網絡和模塊級別的創造性組合，擴大了時間序列表示的范圍，強調了深度神經網絡中的適應性重要性。
創新性重新設計的方法，分為網絡級和模塊級設計。網絡級設計包括動態時間變形算法、STANE、SASA、BMA-Memory框架、DTS、HyperTime、SpaceTime層、HierCorrPool、CSL表示學習框架、COMET、MSD-Mixer、基于時間核的自動編碼器、連續循環單元、神經連續離散狀態空間模型、去噪擴散模型等。模塊級設計包括LIME-RNN、TARNet、WHEN模型、新型模型壓縮技術、NuTime、mTAN、TE-ESN、TimeFlow等。這些方法展示了時間序列表示學習神經架構的多樣化創新，包括隨機扭曲序列、分層相關池化、解耦表示學習等技術。轉換器應用展示了注意力機制對時間序列分析的適應性，而輕量級轉換器的模型壓縮技術解決了邊緣設備的挑戰。這些進步提高了時間序列表示學習的可解釋性、效率和性能。
本研究著重于創新學習過程的客觀函數或代理任務設計，即模型訓練。學習目標根據是否使用標記實例分為監督學習、無監督學習和自監督學習。在我們的調查中，無監督學習與自監督學習的區別在于是否使用偽標簽。無監督學習基于輸入重構，而自監督學習則使用偽標簽作為自我監督信號。
監督學習通過利用標記實例來訓練模型，針對特定目標函數進行定制化訓練。近年來，針對不同模式（如視覺和音頻）和弱監督分類的損失函數得到了關注。然而，由于時間序列數據集中的標簽不足，監督學習無法引起普遍表示學習社區的太多關注。此外，訓練模型的可泛化性也有限。
無監督學習是一種不需要標簽樣本的學習方法，通過在數據集上使用無監督損失函數來解決無監督任務。這種方法更實用，因為不需要標記實例。與有監督學習相比，無監督學習更適用于需要自我預測和重建輸入的情況。無監督學習的方法包括重建損失和掩碼預測。重建損失是一種計算輸入和輸出之間差異的方法，用于自編碼器等模型。掩碼預測是一種關注預測輸入的被掩碼部分的方法，主要應用于無監督學習。這種方法使用編碼器/解碼器的架構，通過訓練Transformer編碼器來提取多變量時間序列的密集向量表示，使用隨機掩碼輸入時間序列的去噪目標來實現無監督學習。
自監督學習是一種無監督學習方法，通過使用數據集中的偽標簽進行訓練，以降低標簽成本。在計算機視覺和時間序列分析中，自監督學習表現優秀。非對比損失利用數據中的內在結構、關系或模式作為訓練的有效監督信號，如基于參考時間序列片段預測給定片段是過去還是未來的數據。對比損失在時間序列分析中用于區分正樣本和負樣本，主要通過多種方法如T-Loss、時空對比（TS-TCC）、TNC、TS2Vec、自監督預訓練策略、TimeCLR、自我監督相似性傳遞框架等。這些方法適用于學習時間序列的魯棒表示，其中T-Loss的TS-Rep適用于不同長度時序，無需填充技術。對于不規則時間序列數據，TimeAutoML和PrimeNet利用對比學習框架實現自動化配置和超參數優化，并促進不規則模式表示學習。對于視頻表示，Morgado等人使用360°視頻數據進行音視頻空間對齊作為對比學習中的負例。
此類研究旨在擴大訓練數據的規模和多樣性，特別是在表征學習中。通過數據擴充，對比學習方法能生成正例和反例樣本。對于時間序列數據，其擴充需考慮其獨特屬性，如時間依賴性、多尺度依賴性和變量間的依賴。我們進一步將這些方法分為隨機和基于策略的擴充。
數據擴充策略旨在增加訓練數據的規模和多樣性，特別是針對時間序列數據。擴充方法分為隨機和基于策略的擴充。隨機擴充包括TS2Vec、TF-C和TS-CoT，它們通過隨機選擇時間區間、添加或刪除頻率成分以及增強對噪聲時間序列的魯棒性來提高表示質量和促進對比學習。基于策略的增強包括TimeCLR、BTSF、InfoTS、RIM和上下文附加增強等方法，它們通過動態時間扭曲、dropout、信息意識標準、遞歸插值函數和前后實例添加等方式，控制增強的時間序列軌跡偏離原始軌跡的程度，增強模型處理嘈雜和多樣性時間序列數據的能力，同時保留基本的時間和頻譜屬性。
本節介紹了分解和變換的方法，用于從訓練數據中提取更有意義的信息。其中包括時間序列分解和輸入空間變換兩種方法。時間序列分解方法包括多層次離散小波分解與深度神經網絡結合、將時間序列空間關系分解為先驗圖和動態圖、對比學習將視頻表示空間分為靜態和非靜態特征等方法，以提高下游任務的泛化能力。輸入空間變換方法包括將一維時間序列轉換為二維圖像或張量、SplineNet和MIAM等技術，以打破原始一維空間中表示能力的瓶頸，增強表示能力并解決涉及不規則時間序列數據的問題。時序圖網絡顯著增強了深度模型分析和處理時間序列和視頻數據的能力。
樣本選擇的方法包括生成方法和重新采樣策略。生成方法通過生成微擾版本或利用大型語言模型來增強訓練數據的功效和多樣性。重新采樣策略通過選擇最佳樣本來優化表示學習。大多數時間序列表示學習方法專注于提取對下游任務有用的特征，因此樣本生成可能不太受歡迎。由于缺乏可用于樣本生成的通用基礎模型，時間序列表示學習更具挑戰性。
本節介紹了用于比較時間序列通用表示學習方法的典型實驗設計。我們評估了預訓練的表示學習模型，并使用函數將表示空間映射到標簽空間，以解決下游任務。我們期望通過學習到的表示能夠泛化到未知的下游任務中。常見的評估方法是學習到的表示如何幫助解決下游任務。
評估程序包括使用預訓練的編碼器對下游數據集上的編碼器進行訓練，比較特定任務的評估指標值，有兩種常見的評估協議：凍結協議和微調協議。凍結協議中預訓練的編碼器不進行更新，微調協議中同時訓練預訓練的編碼器和特定任務的網絡。微調協議在實踐中表現得比凍結協議更好。
對于下游任務，我們總結了廣泛使用的基準數據集和評估指標。預測和填補任務通常使用來自電力、交通、氣象學、金融和控制系統等領域的基準數據集，并使用均方誤差和平均絕對誤差作為度量標準。分類和聚類任務通常使用來自不同應用領域的異構時間序列基準數據集，并使用輪廓系數、調整隨機指數和歸一化互信息等指標評估聚類任務的內在可聚類性。回歸任務使用心率監測數據和空氣質量等公開基準數據集，并使用均方誤差和R平方等度量標準。分割任務使用UTSA和TSSB等標準定制基準，并使用F1分數和覆蓋分數評估分割性能。異常檢測任務使用公開可用的基準數據集，并使用點調整F1分數等指標評估異常檢測模型性能。檢索任務可以使用任何基準數據集進行評估，通常使用top-k召回率作為標準度量。
最近的研究通過計算第一層和最后一層的表示之間的中心化核配準相似性來評估學習到的表示的內在質量。CKA相似性越高，表示越相似。更好的預報和異常檢測精度與更高的CKA相似性有關，而更好的填充和分類結果則與較低的CKA相似性相對應。因此，可以使用此指標來評估編碼器是否為不同任務學習適當的表示。
我們將探討時間序列分析中的開放挑戰，并概述有望改進現有通用時間序列表示學習方法的未來研究方向。
由于時間序列數據的復雜性和缺乏公開標注數據，手動標記成本高昂。為解決此問題，主動學習通過選擇最具信息量的未標記數據進行標注，以降低標記成本。反復迭代訓練模型，選擇最具信息量的數據進行標記，直到模型性能達到閾值。因此，利用主動學習進行有效標注的時間序列表示學習研究將具有前景。
分布遷移是測試階段模型性能下降的原因之一。為解決此問題，需開發適用于通用表示學習的分布遷移適應算法，以對抗概念漂移和領域遷移。
適當的數據增強對時間序列至關重要，但輕微變化可能顯著改變其特征。現有技術如抖動、移動、縮放和彎曲的可靠性尚未得到充分探索。需設計評估方法來評估數據增強的可靠性，以選擇最佳策略。
神經架構搜索已成功應用于計算機視覺和自然語言處理，但時間序列領域的研究尚少。未來需自動發現適用于下游任務的時間序列表示學習神經架構。
將大型語言模型集成到時間序列表示學習模型中，可提高模型性能。未來研究有望將時間序列表示與語言嵌入對齊，提高多模態或多元時間序列領域的性能。
現有模型難以處理不規則時間序列。未來的研究方向是將不規則性的原因整合到學習過程中，以獲得更精確的表示。
通過利用人類語言的語義，可以通過多視圖表示對時間序列進行多模態表示。構建大型多模態時間序列-文本數據集將是未來一個有前途的方向。
原文轉載自：https://mp.weixin.qq.com/s/9oL-6duZOr1QNdH71b_A6g