使用這些基本 REST API 最佳實踐構建出色的 API
時間序列預測是時間序列任務中最常見和最 重要的應用，通過挖掘時間序列潛在規律，去進行 類推或者延展用于解決在現實生活中面臨的諸多 問題，包括噪聲消除[15]、股票行情分析[16-17]、電力 負荷預測[18]、交通路況預測[19-20]、流感疫情預警[21] 等。
當時間序列預測任務提供的原始數據僅為目 標數據的歷史數據時，為單變量時間序列預測，當 提供的原始數據包含多種隨機變量時，為多變量時 間序列預測。時間序列預測任務根據所預測的時間跨度長短，可劃分為四類，具體如圖2 所示：
文章余下部分主要介紹基于深度學習的時間 序列預測算法研究，其中第二節介紹時間序列數據 特性，第三節介紹了時間序列預測任務的常用數據 集和評價指標，第四節介紹了深度學習的研究進展 及在時間序列預測領域的應用，第五節展望未來深 度學習在時序預測領域的研究方向。
時間序列預測是對前 t -1個時刻的歷史數據學 習分析，來估計出指定未來時間段的數據值。時間 序列數據由于其各變量間固有的潛在聯系，常表現 出一種或多種特性，為對時序預測有更全面的認 識，本節將對這些常見特性進行詳細介紹。
(1)海量性：隨著物聯網傳感器設備的升級，測 量頻率的提高，測量維度的增加，時間序列數據爆 炸性增長，高維度的時間序列數據占據主流[22]。在 數據集層面進行有效的預處理工作，是高質量完成 時間序列預測任務的關鍵。
(2)趨勢性：當前時刻數據往往與前一段時刻數 據有著密切的聯系，該特點暗示了時間序列數據受 其他因素影響通常有一定的變化規律，時間序列可能在長時間里展現出一種平穩上升或平穩下降或保持水平的趨勢。
(3)周期性：時間序列中數據受外界因素影響，在長時間內呈現出起起落落的交替變化[23]，例如，漲潮退潮，一周內潮水高度不符合趨勢性變化，并不是朝著某一方向的近似直線的平穩運動。
(4)波動性：隨著長時間的推移和外部多因素影響，時間序列的方差和均值也可能會發生系統的變化，在一定程度上影響時間序列預測的準確度。
(5)平穩性：時間序列數據個別為隨機變動，在不同時間上呈統計規律，在方差與均值上保持相對穩定。
(6)對稱性：若某段時間周期內，原始的時間序列和其反轉時間序列的距離控制在一定的閾值以內，曲線基本對齊，即認定該段時間序列具有對稱性[24]，例如港口大型運輸車往復作業，起重機抬臂和降臂工作等。
基于深度學習的時間序列預測方法 最初預測任務數據量小，淺層神經網絡訓練速 度快，但隨著數據量的增加和準確度要求的不斷提 高，淺層神經網絡已經遠不能滿足任務需求。近年 來，深度學習引起了各領域研究者的廣泛關注，深 度學習方法在時間序列預測任務中與傳統算法相 比表現出了更強勁的性能，得到了長遠發展和普遍 應用。深度神經網絡與淺層神經網絡相比有更好的 線性和非線性特征提取能力，能夠挖掘出淺層神經 網絡容易忽略的規律，最終滿足高精度的預測任務 要求[30]。本節余下部分將介紹可用于解決時間序列 預測問題的三大類深度學習模型。
3.1.1 卷積神經網絡 卷積神經網絡(Convolutional Neural Networks， CNN)是一類以卷積和池化操作為核心的深層前饋 神經網絡，在設計之初，其用于解決計算機視覺領 域的圖片識別問題[31-32]。卷積神經網絡做時間序列預測的原理是利用 卷積核的能力，可以感受歷史數據中一段時間的變 化情況，根據這段歷史數據的變化情況做出預測。池化操作可以保留關鍵信息，減少信息的冗余，卷 積神經網絡可以有效減少以往算法提取特征的人力資源消耗，同時避免了人為誤差的產生。卷積神經網絡所需的樣本輸入量巨大，多用于預測具備空間特性的數據集，其網絡結構一般有五層，具體結構如圖 4 所示：
從表 1 中可以看出模型在樣本量巨大的多變量 數據集上處理短期預測任務時，Kmeans-CNN 采用 先聚類分類再由模型訓練的思路取得了比較理想 的預測效果，后續也有不少研究人員在解決時序預 測問題時進行類似處理。引入了擴展卷積和殘差連 接等架構元素的 TCN 能保有更長的有效歷史信息， 同樣達到了不錯的預測效果，而且其網絡較為簡單 清晰。目前，CNNs 的預測精度與循環神經網絡等其 他網絡結構相比已不占優勢，難以單獨處理步長較 長的時序預測問題，但常作為一個功能強大的模塊 接入其他先進算法模型中用于預測任務。
RNNs 循環神經網絡類算法自提出就一直是解決時間序列預測任務的重要方法，常常作為一個模塊嵌入到其他算法中來獲得更好的預測效果，在2017 年以前一直作為解決時間序列數據預測問題的主力模型，得到廣泛應用。主要循環神經網絡類算法實驗性能對比和總體分析如表3 和表4所示：
表 3 可以看出，GRU 和 LSTM 在性能上相當， 但都受限于只能從一個方向上學習訓練，在預測精 度 上 要 低 于 可 以 從 兩 個 方 向 上 獲 取 信 息 的 Bi-LSTM 模型。Bi-LSTM 在解決短期時序預測任務 時的優勢包括所需的樣本數量少，擬合速度快，預 測精度高，如今依然有眾多學者研究使用。循環神經網絡類方法可以捕獲并利用長期和 短期的時間依賴關系來進行預測，但在長序列時間 序列預測任務中表現不好，并且 RNNS 多為串行計 算，導致訓練過程中對內存的消耗極大，而且梯度 消失和梯度爆炸問題始終沒有得到徹底解決。
介紹 Transformer 模型之前先要介紹一下注意力機 制，人類眼睛的視角廣闊，但局限于視覺資源，往往重 點關注視線中的特定部分，注意力機制就是以此為靈感 提出，重點關注數據中的更有價值的部分[48-49]。Transformer 所采用的自注意力機制所解決的 情況是：神經網絡的輸入是很多大小不一的向量， 不同時刻的向量往往存在著某種潛在聯系，實際訓 練的時候無法充分捕捉輸入之間的潛在聯系而導致模型訓練結果較差。
Transformer 類算法如今廣泛用于人工智能領域的各項任務，在Transformer 基礎上構建模型可以打破以往算法的能力瓶頸，可以同時具備良好的捕捉短期和長期依賴的能力，有效解決長序列預測難題，并且可以并行處理。上述算法性能對比和總體分析如表 6 和表 7 所示：
從表 6可以看出 Transformer類算法為避免過擬 合需要大量數據來進行自身的訓練，在中期和長期 預測任務上都有著不錯的性能表現。目前，部分 Transformer 類算法在保留編碼器- 解碼器架構的同時，開始重新審視注意力機制的作 用，因為在錯綜復雜的長序列預測任務中自注意力 機制可能不可靠。Informer 等在降低復雜度的同時 選擇犧牲了一部分的有效信息，Conformer 使用局 部注意力與全局的 GRU 進行功能互補。Pyraformer 在相對較低的配置下依然表現出不 錯的性能，一定程度上緩解了 Transformer 類算法設 備要求高的問題，適合在欠發達地區普及使用。
文章在對時間序列數據、經典時間序列參數模 型和算法評價指標簡單介紹后，系統總結了基于深 度 學 習 的 時 間 序 列 預 測 算 法 ， 其 中 以 基 于 Transformer 的模型為主，深入分析了 Transformer 類算法的網絡架構優缺點，在注意力機制被提出以 來，時間序列預測任務發展進入快車道取得了令人 矚目的成果。下面列出了時間序列預測領域的重點 問題和進一步的研究方向，以促進時間序列預測算 法的研究和完善。
(1) 采用隨機自然啟發優化算法優化深度學習 模型的多個超參數。深度學習算法愈發復雜，需要 處理的超參數越來越多，超參數的選擇往往決定著 算法能不能突破局部最優陷阱達到全局最優。隨機 自然啟發優化算法靈感來自群體智能的各種現象、 為動物的自然行為、物理定律以及進化定律。優化 算法首先基于問題的約束隨機生成一定數量的可解解，然后利用算法的各階段重復尋找全局最優解，在限制范圍內尋找最優的超參數以提升模型預測能力。因此，采用隨機自然啟發優化算法用于模型最優超參數尋找，將成為未來研究熱點之一。
(2) 研究適合時間間隔不規則的小數據集的網絡架構。現有 Transformer 模型架構復雜，參數多，在周期性好的數據集上表現出優越的性能，但在數據量小，時間間隔不規則的數據集中表現不理想。Transformer 類模型為在小數據上的過擬合問題值得進一步思考和解決。處理時間間隔不規則的數據集時，在模型架構中引入重采樣、插值、濾波或其他方法是處理時間序列數據和任務特征的新思路，會是未來一個新的研究方向。
(3) 引入圖神經網絡(graph neural network，GNN)用于多變量時序預測建模。由于多變量時序預測任務的潛在變量相關性十分復雜，且在現實世界中的數據相關性是變化的，導致準確多變量預測具有挑戰性。最近不少學者采用時間多項式圖神經網絡將動態變量相關性表示為動態矩陣多項式，可以更好地理解時空動態和潛在的偶然性，在短期和長期多變量時序預測上都達到了先進的水平。因此GNN 對多變量時序預測的強大建模能力值得進一步研究。
(4) 研究同時支持精確形狀和時間動態的可微損失函數作為評價指標。在時間序列預測領域中已經使用了許多測量度量，并且基于歐氏距離的點誤差損失函數，例如MSE，被廣泛用于處理時間序列數據，但是其逐點映射，對形狀和時間延后失真不 具有不變性。損失函數不僅要最小化預測和目標時 間序列之間的差距還應該考慮整個輸出序列和基本 事實之間的相關性，從而幫助模型生成更及時、更 穩健和更準確的預測，而不是僅僅逐點優化模型。如果損失函數能在曲線形狀和時間感知上對模型進 行評價能更有利于訓練出高效準確的時間序列預測 模型。
論文地址：http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2211108
文章轉自微信公眾號@算法進階