鍵.png)
使用這些基本 REST API 最佳實(shí)踐構(gòu)建出色的 API
圖1 處于活躍疫情期間的每日死亡人數(shù)（注意每周報(bào)告模式）、住院人數(shù)和ICU患者人數(shù)按比例縮放后的圖表。
時(shí)間序列預(yù)測的歷史悠久，其中一些建模技術(shù)（如深度學(xué)習(xí)）在20世紀(jì)50年代到70年代以及2010年代取得了顯著進(jìn)步。支持跨編程語言的時(shí)間序列分析開源項(xiàng)目包括：R語言的Time Series，Python的Statsmodels、Sklearn和Sktime，以及PyTorch-Forecasting和TSlib。Scala的Apache Spark和ScalaTion也支持時(shí)間序列分析。盡管預(yù)測未來非常困難，但直到最近，機(jī)器學(xué)習(xí)模型在提供統(tǒng)計(jì)模型之外的預(yù)測方面并沒有取得多少進(jìn)展。
表1 帶有時(shí)間序列上下文關(guān)鍵初始參考的時(shí)間序列預(yù)測模型類型。
馬里迪卡迪斯或M競賽始于1982年，至2022-2023年已進(jìn)行到第六屆。在2018年結(jié)束的M4競賽中，ML技術(shù)表現(xiàn)不佳，獲勝者是混合神經(jīng)網(wǎng)絡(luò)（LSTM）和統(tǒng)計(jì)（ES）技術(shù)。其余表現(xiàn)最好的參賽者是統(tǒng)計(jì)技術(shù)的組合。直到2020年結(jié)束的M5競賽中，ML建模技術(shù)才超過經(jīng)典統(tǒng)計(jì)技術(shù)，其中表現(xiàn)最好的隊(duì)伍包括LightGBM和神經(jīng)網(wǎng)絡(luò)。M6競賽涉及預(yù)測和投資策略，預(yù)計(jì)將在2024年公布其結(jié)果摘要。
正如M競賽所討論的那樣，機(jī)器學(xué)習(xí)技術(shù)花了些時(shí)間才在競賽中嶄露頭角。神經(jīng)網(wǎng)絡(luò)模型在許多領(lǐng)域中展示了高度競爭性的結(jié)果，但在時(shí)間序列預(yù)測領(lǐng)域卻表現(xiàn)不佳，可能是因?yàn)槟Ｊ礁与y以捉摸且經(jīng)常變化。此外，直到大數(shù)據(jù)革命之前，數(shù)據(jù)集太小，無法訓(xùn)練具有大量參數(shù)的神經(jīng)網(wǎng)絡(luò)。
2.2.1 第一波。SARIMAX模型在處理內(nèi)生和外生時(shí)間序列數(shù)據(jù)方面表現(xiàn)良好，能夠利用過去和預(yù)測值、過去誤差/沖擊以及外生時(shí)間序列的過去值。內(nèi)生變量可以進(jìn)行差分以改善穩(wěn)定性，并利用季節(jié)/周期模式。在多變量時(shí)間序列中，向量自回歸（VAR）模型是最直接的選擇，例如VAR（3,2）模型在流行病預(yù)測中可能很有用。SARIMAX和VAR都可以被視為用于多元時(shí)間序列的模型，區(qū)別在于SARIMAX關(guān)注一個(gè)主要變量，另一個(gè)變量用作指示變量。SARIMAX模型可以簡化為ARX模型，以查看由內(nèi)生變量前??滯以及外生變量滯后[??, ??]所組成的模型的本質(zhì)結(jié)構(gòu)。ARX模型可以有超過一個(gè)外生時(shí)間序列。
2.2.2 第二波。M5 Competition證明了LightGBM的價(jià)值，且LSTM和GRU性能優(yōu)于FNN。RNN使用時(shí)間序列預(yù)測，通過組合輸入和隱藏向量計(jì)算新狀態(tài)。門和sigmoid激活改善了歷史信息的流動。GRU和LSTM分別添加了兩個(gè)和三個(gè)門。編碼器-解碼器架構(gòu)用于序列到序列問題，其中編碼器學(xué)習(xí)過去模式，解碼器進(jìn)行預(yù)測。注意力機(jī)制為時(shí)間序列預(yù)測提供了改進(jìn)，如自我注意力、多頭注意力、跨注意力和位置編碼。Transformer由多個(gè)編碼器和解碼器塊組成，表現(xiàn)卓越。NLP進(jìn)步可以適應(yīng)到時(shí)間序列預(yù)測。TCN使用因果和膨脹卷積以及殘差塊提供對歷史的擴(kuò)展視圖和梯度保持，但證據(jù)在時(shí)間序列預(yù)測上不明確。
圖2 單頭Transformer的第一編碼器層
在過去的幾年里，已有研究探討了Transformer中的稀疏注意力，以降低注意力計(jì)算的復(fù)雜性。注意力計(jì)算通常涉及查詢矩陣、鍵矩陣和值矩陣。稀疏注意力可以通過減少查詢數(shù)量或在給定查詢時(shí)減少需要比較的鍵的數(shù)量來實(shí)現(xiàn)。查詢原型可以代替多個(gè)查詢，從而減少計(jì)算。此外，如果兩個(gè)時(shí)間點(diǎn)相距較遠(yuǎn)，可以將它們的注意力權(quán)重設(shè)置為零，以縮小焦點(diǎn)。這些方法不僅可以減少計(jì)算時(shí)間，還可能提高預(yù)測效果。由于Transformer具有多個(gè)頭和多個(gè)層/塊，其可解釋性和可理解性具有挑戰(zhàn)性。注意力權(quán)重可以用于提高可解釋性和可理解性，同時(shí)簡化Transformer塊以減少訓(xùn)練時(shí)間。
表2 時(shí)間序列預(yù)測Transformer模型類型
預(yù)訓(xùn)練的transformers在時(shí)間序列預(yù)測中的應(yīng)用是一個(gè)公開的問題，盡管它們在自然語言處理和計(jì)算機(jī)視覺問題中取得了成功。一些方法可以應(yīng)用于大流行病預(yù)測，例如訓(xùn)練在流行病和流感上優(yōu)化的transformers，以避免在流行病最嚴(yán)重的時(shí)候才變得熟練的問題。PatchTST將多元時(shí)間序列數(shù)據(jù)分割成多個(gè)獨(dú)立通道的單變量時(shí)間序列，并創(chuàng)建補(bǔ)丁作為令牌輸入到轉(zhuǎn)換器中，以減少計(jì)算和內(nèi)存使用，同時(shí)關(guān)注更長的歷史。AR-Transformer結(jié)合了Vanilla Transformer架構(gòu)與基于片段的注意力、教師強(qiáng)迫、時(shí)間和位置編碼以及自動回歸（遞歸）多視野預(yù)測，表現(xiàn)出改進(jìn)的性能。此外，掩碼自編碼器（MAE）也被用于多變量時(shí)間序列預(yù)測，通過遮罩一些輸入補(bǔ)丁并訓(xùn)練模型將它們放回去，以更充分地捕捉時(shí)間依賴關(guān)系。
表達(dá)學(xué)習(xí)將多變量時(shí)間序列轉(zhuǎn)化為潛在空間中的形式，有助于分類或預(yù)測等任務(wù)。它是一種因子分析的泛化，能夠?qū)⒆兞块g的變化因素分離。在預(yù)測任務(wù)中，時(shí)間序列被分為過去和未來兩部分，并通過函數(shù)f編碼為潛在表示。為了減少預(yù)測誤差，可以使用正則化回歸等方法簡化預(yù)測函數(shù)。最近的研究和模型表明，表示學(xué)習(xí)的有效性可以通過審查相關(guān)領(lǐng)域的最新工作來證明。此外，還關(guān)注提高編碼的可解釋性以提高用戶對模型的信任度。一些簡單的架構(gòu)已經(jīng)取得了良好的效果。TSMixer借鑒了計(jì)算機(jī)視覺領(lǐng)域的MLP-Mixer，通過依賴MLP塊實(shí)現(xiàn)了更簡潔、高效的架構(gòu)。但可能因忽視強(qiáng)主導(dǎo)指標(biāo)而錯(cuò)過重要信息。
表3 時(shí)間序列的表征學(xué)習(xí)
Transformers適合處理時(shí)間依賴性，而圖神經(jīng)網(wǎng)絡(luò)更適合捕捉時(shí)空依賴關(guān)系。GNN編碼器-解碼器或Transformer可能更擅長捕捉系列間或空間之間的依賴關(guān)系。
在國家層面上，數(shù)據(jù)集??=[y tj ]表示，其中t是時(shí)間，j是變量。圖神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在于模擬和考察多個(gè)時(shí)間序列之間的依賴關(guān)系。每個(gè)變量的時(shí)間序列y可以被轉(zhuǎn)化為圖中的節(jié)點(diǎn)，節(jié)點(diǎn)之間的關(guān)系信息可以作為邊屬性來維護(hù)，例如基于互相關(guān)、互信息等。需要注意的是，互相關(guān)的強(qiáng)度取決于滯后量。如果數(shù)據(jù)不是平穩(wěn)的，那么互相關(guān)模式可能會隨著時(shí)間的推移而變化。
新冠病毒的傳播可能會影響鄰近的州，因?yàn)槿藗儠缰萋眯小①Q(mào)易和社交。預(yù)測一個(gè)州內(nèi)的病毒傳播情況需要考慮與其他州的聯(lián)系，這可以通過圖表示，其中每個(gè)州是一個(gè)節(jié)點(diǎn)，兩個(gè)節(jié)點(diǎn)之間有一條邊表示有重要聯(lián)系。基于圖神經(jīng)網(wǎng)絡(luò)（GNN）的模型用于預(yù)測疾病傳播，使用移動數(shù)據(jù)或社會聯(lián)系連接不同地區(qū)并捕捉空間關(guān)系。如果兩個(gè)州之間存在線性或非線性依賴關(guān)系，它們也可以相互連接。研究發(fā)現(xiàn)，俄亥俄州和伊利諾伊州的死亡和確診病例數(shù)量高度相關(guān)，表明兩個(gè)州之間存在很強(qiáng)的線性關(guān)系。當(dāng)數(shù)據(jù)集擴(kuò)大五十倍時(shí)，問題變得更加復(fù)雜，數(shù)據(jù)集現(xiàn)在可能被表示為一個(gè)3D張量，其中包含時(shí)間點(diǎn)、變量和狀態(tài)。
早期工作利用傅里葉變換在頻域進(jìn)行，而ChebNet和GCN通過應(yīng)用圖拉普拉斯簡化了計(jì)算。基于圖的鄰域矩陣，計(jì)算圖的拉普拉斯矩陣，節(jié)點(diǎn)隱藏狀態(tài)通過與其學(xué)習(xí)權(quán)重矩陣相乘來更新。MPNN更通用，可以在節(jié)點(diǎn)更新計(jì)算中包含邊特征。GAT使用注意力機(jī)制來捕捉節(jié)點(diǎn)間依賴關(guān)系。在GNN進(jìn)行MTS預(yù)測的研究中，研究人員定義了GNN的底層圖結(jié)構(gòu)。靜態(tài)圖易處理，但需考慮先驗(yàn)或圖結(jié)構(gòu)學(xué)習(xí)。動態(tài)圖拓?fù)浣Y(jié)構(gòu)隨時(shí)間變化。對于時(shí)間序列，圖結(jié)構(gòu)通常在時(shí)間上變化。GNNs適合處理空間或變量間依賴關(guān)系，但與循環(huán)、卷積或基于注意力的模型結(jié)合使用可處理時(shí)間依賴關(guān)系。一些研究利用GNNs進(jìn)行COVID-19預(yù)測，如整合移動數(shù)據(jù)的時(shí)空GNN、理解國家間動態(tài)的MPNN-TL、結(jié)合流行病學(xué)模型的GNN等。結(jié)合Transformers和圖神經(jīng)網(wǎng)絡(luò)可提供兩者優(yōu)勢，如SageFormer使用圖表示和GNN建立系列間連接，幫助集中注意力機(jī)制。
基礎(chǔ)模型為更廣泛的問題解決提供基礎(chǔ)，基于深度學(xué)習(xí)和遷移學(xué)習(xí)，支持更廣泛的應(yīng)用和涌現(xiàn)能力。在預(yù)測中，無論是傳統(tǒng)的統(tǒng)計(jì)模型還是深度學(xué)習(xí)模型，主要思想都是為特定數(shù)據(jù)集訓(xùn)練模型，以便它可以拾取其特定模式。然而，在許多情況下，沒有足夠的可用數(shù)據(jù)來訓(xùn)練具有許多可訓(xùn)練參數(shù)的復(fù)雜模型。數(shù)據(jù)增強(qiáng)技術(shù)在邊緣上可能會有所幫助。近年來，具有數(shù)十億參數(shù)的基礎(chǔ)模型在自然語言和計(jì)算機(jī)視覺領(lǐng)域取得了顯著的成就。其他領(lǐng)域正在研究基礎(chǔ)模型如何適用于其他數(shù)據(jù)模式以及多模態(tài)數(shù)據(jù)。時(shí)間序列是一種序列數(shù)據(jù)，與自然語言一樣，人們可能會期望時(shí)間序列的基礎(chǔ)模型能夠像大型語言模型（LLMs）對自然語言那樣表現(xiàn)出色。一個(gè)經(jīng)過廣泛訓(xùn)練的基礎(chǔ)模型應(yīng)該更容易捕捉到新數(shù)據(jù)集中的模式。然而，時(shí)間序列領(lǐng)域面臨挑戰(zhàn)，包括多樣性、許多小數(shù)據(jù)集和缺乏詞匯、語法和語義。
深度學(xué)習(xí)模型通過放大或組合構(gòu)建基礎(chǔ)模型，如GPT、BART、T5等。在時(shí)間序列分類中，變換器架構(gòu)最有前途，集中式或稀疏注意力的模型在全注意力變換器上更準(zhǔn)確。最先進(jìn)的LLM包括GPT（僅解碼器）和BART、T5（編碼器-解碼器）。其他可能的骨干架構(gòu)包括Transformer++和狀態(tài)空間模型，如Mamba。對于時(shí)空域數(shù)據(jù)，圖基礎(chǔ)模型（GFMs）變得更為相關(guān)，通常是放大的變換器，適用于序列數(shù)據(jù)。對于具有空間成分的數(shù)據(jù)，卷積神經(jīng)網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)可能也很有用。最受歡迎的骨干架構(gòu)是基于消息傳遞的GNNs和基于變換器的架構(gòu)。因此，對于時(shí)空域數(shù)據(jù)，可以選擇GFMs或基于Transformer的架構(gòu)作為骨干架構(gòu)，這些模型可以捕獲數(shù)據(jù)的時(shí)空特征，并具有強(qiáng)大的表達(dá)能力和擴(kuò)展性，可以有效處理大規(guī)模時(shí)空數(shù)據(jù)集。
創(chuàng)建時(shí)間序列的基礎(chǔ)模型至少有四種方法：
（1）利用現(xiàn)有的大型語言模型的力量。這涉及到將時(shí)間序列段或補(bǔ)丁轉(zhuǎn)換為單詞，使用這些單詞來生成接下來的單詞，然后再將它們轉(zhuǎn)換回時(shí)間序列（即預(yù)測）。這種工作的基礎(chǔ)是在兩個(gè)序列（單詞和時(shí)間序列段）中存在普遍的模式。然而，如果不加小心，將時(shí)間序列轉(zhuǎn)換為單詞序列可能會產(chǎn)生無意義的句子。當(dāng)輸出單詞被轉(zhuǎn)換為時(shí)間序列預(yù)測時(shí)，也可能會發(fā)生同樣的情況。使用時(shí)間序列數(shù)據(jù)微調(diào)大型語言模型可能會提高它們的預(yù)測能力。
（2）從頭開始使用大量時(shí)間序列數(shù)據(jù)集構(gòu)建通用的時(shí)間序列基礎(chǔ)模型。這需要大量時(shí)間和精力來收集和預(yù)處理大量時(shí)間序列數(shù)據(jù)。還需要高性能計(jì)算來進(jìn)行廣泛的訓(xùn)練。盡管在時(shí)間序列領(lǐng)域進(jìn)行全面訓(xùn)練通常被認(rèn)為比在語言領(lǐng)域進(jìn)行全面訓(xùn)練要求更少。
（3）從頭開始使用與疾病進(jìn)展相關(guān)的數(shù)據(jù)集構(gòu)建專門的時(shí)間序列基礎(chǔ)模型。從所需訓(xùn)練數(shù)據(jù)量和訓(xùn)練資源要求的角度來看，這種替代方案更容易管理。此外，目前尚不清楚是否在時(shí)間序列域之間存在可利用的普遍性。是否對股票市場數(shù)據(jù)進(jìn)行訓(xùn)練的基礎(chǔ)模型對流行病預(yù)測有用？
（4）創(chuàng)建一個(gè)包含文本和時(shí)間序列數(shù)據(jù)的多模態(tài)基礎(chǔ)模型。例如，文本可以從關(guān)于COVID-19大流行的新聞文章或社交媒體中獲得，時(shí)間序列數(shù)據(jù)（每周/每日）可以從CDC或OWID獲得。根據(jù)時(shí)間戳進(jìn)行同步，并使用動態(tài)時(shí)間扭曲等技術(shù)進(jìn)行時(shí)間序列對齊。
最近，有一些努力致力于創(chuàng)建時(shí)間序列預(yù)測的基礎(chǔ)模型，如表5所示。模型類型指示了上述四種方法的哪一種被采用，骨干表示基礎(chǔ)模型的基礎(chǔ)深度學(xué)習(xí)技術(shù)是如何構(gòu)建的。
表5 時(shí)間序列的基礎(chǔ)模型
類型1：重新利用的LLM。大型語言模型（LLM）可以被重新用于時(shí)間序列數(shù)據(jù)，它們適合于時(shí)間序列數(shù)據(jù)是因?yàn)榫哂行蛄行浴榱藢㈩A(yù)訓(xùn)練的LLM轉(zhuǎn)移到時(shí)間序列數(shù)據(jù)，需要將時(shí)間序列分成一定長度的補(bǔ)丁，并使用可逆實(shí)例歸一化（RevIN）緩解分布偏移。這些模型通常使用GPT作為其骨干網(wǎng)絡(luò)，但它們是非自回歸模型，可能無法使用可變長度的預(yù)測。對于疾病預(yù)測等任務(wù)，輸入標(biāo)記的時(shí)序編碼非常重要。
類型2：在時(shí)間序列數(shù)據(jù)集上進(jìn)行廣泛預(yù)訓(xùn)練。時(shí)間序列數(shù)據(jù)集上的預(yù)訓(xùn)練模型，包括使用基礎(chǔ)模型進(jìn)行預(yù)訓(xùn)練、使用解碼器架構(gòu)進(jìn)行自回歸預(yù)訓(xùn)練、使用傅里葉變換發(fā)現(xiàn)最佳時(shí)期等。這些模型可以用于時(shí)間序列分類、點(diǎn)預(yù)測和區(qū)間預(yù)測等任務(wù)。其中，Llama 2模型致力于提高效率，并使用標(biāo)準(zhǔn)轉(zhuǎn)換器架構(gòu)和預(yù)歸一化RMSNorm、SwiGLU激活函數(shù)和旋轉(zhuǎn)位置嵌入。
類型3：基于領(lǐng)域相關(guān)的時(shí)序數(shù)據(jù)預(yù)訓(xùn)練模型。基于領(lǐng)域相關(guān)的時(shí)序數(shù)據(jù)預(yù)訓(xùn)練模型是一種在特定領(lǐng)域數(shù)據(jù)上預(yù)訓(xùn)練的模型，針對特定領(lǐng)域的預(yù)訓(xùn)練可能會提供更好的性能。AutoMixer是為業(yè)務(wù)和IT可觀察性而訓(xùn)練的特殊目的基礎(chǔ)模型，它把通道壓縮作為預(yù)訓(xùn)練任務(wù)，使用基于RNN的AutoEncoder處理可變輸入和輸出序列長度的預(yù)訓(xùn)練用于微調(diào)。微調(diào)時(shí)，使用預(yù)訓(xùn)練AE的編碼器部分對輸入進(jìn)行壓縮，通過TSMixer對壓縮表示進(jìn)行微調(diào)，從TSMixer中得到的輸出作為輸入傳遞給AE解碼器部分以獲得視窗的結(jié)果。
類型4：文本和時(shí)間序列的多模態(tài)模型。類型4模型利用文本和時(shí)間序列數(shù)據(jù)來提高預(yù)測精度，具有更大的可解釋性潛力。在疫情估計(jì)的情況下，一個(gè)在疾病爆發(fā)和額外的關(guān)于疫苗接種開發(fā)的文本信息上訓(xùn)練的模型可能會增強(qiáng)未來疾病的結(jié)果。UniTime模型允許使用域指令向模型提供明確的域識別信息，有利于模型利用每個(gè)時(shí)間序列的來源并相應(yīng)地調(diào)整其預(yù)測策略。該模型通過補(bǔ)丁和嵌入層對輸入時(shí)間序列進(jìn)行分詞和嵌入，融合的補(bǔ)丁標(biāo)記和文本標(biāo)記被連接起來，然后作為輸入傳遞給語言模型解碼器，從語言模型解碼器中獲得的輸出標(biāo)記被填充到固定的序列長度中。該模型始終輸出該數(shù)量的值，可以截?cái)嘁垣@得特定期限窗口的估計(jì)值。
時(shí)間序列預(yù)測的模式正從為每個(gè)數(shù)據(jù)集訓(xùn)練模型轉(zhuǎn)變?yōu)橛?xùn)練一個(gè)適用于多個(gè)數(shù)據(jù)集的模型。這導(dǎo)致對時(shí)間序列基礎(chǔ)模型的預(yù)訓(xùn)練，這些模型需要大量數(shù)據(jù)集進(jìn)行訓(xùn)練。通過微調(diào)可以提高這些模型的準(zhǔn)確性。時(shí)間序列的基礎(chǔ)模型預(yù)訓(xùn)練因數(shù)據(jù)多樣性而具有挑戰(zhàn)性，但比LLMs更容易，因?yàn)槠鋽?shù)量和維度都較小。找到足夠的數(shù)據(jù)集是一個(gè)問題，但部分解決方案是使用存儲庫，如莫納什大學(xué)時(shí)間序列預(yù)測存儲庫、加州大學(xué)河濱分校時(shí)間序列分類存檔和東英吉利大學(xué)存儲庫。在時(shí)間序列領(lǐng)域，自監(jiān)督學(xué)習(xí)可以用于大規(guī)模訓(xùn)練，以應(yīng)對缺乏標(biāo)記數(shù)據(jù)的問題。自監(jiān)督學(xué)習(xí)可以作為預(yù)任務(wù)子任務(wù)，一部分時(shí)間序列被遮蓋并重新生成，以幫助模型進(jìn)行準(zhǔn)確的預(yù)測。數(shù)據(jù)增強(qiáng)可能有助于模型看到真正模式。對于LLMs的神經(jīng)尺度定律表明，在包含訓(xùn)練集大小和模型參數(shù)的數(shù)量之后錯(cuò)誤率會遵循冪律下降。
基模型具有大量可訓(xùn)練參數(shù)，需要長時(shí)間高性能計(jì)算，難以普遍適用于時(shí)間序列預(yù)測。微調(diào)基礎(chǔ)模型的想法是對參數(shù)進(jìn)行微小的調(diào)整，以提高特定子領(lǐng)域的性能。微調(diào)方法包括稀疏微調(diào)、適配器微調(diào)和低秩適應(yīng)（LoRA）。為了提高特定領(lǐng)域的基模型精度，有三種常見的方法：微調(diào)（FT）、檢索增強(qiáng)生成（RAG）和提示工程（PE）。這些方法結(jié)合使用時(shí)，效果可能非常顯著，例如LLM的幻覺可以得到減少，回答的時(shí)效性得到提高。
數(shù)據(jù)驅(qū)動方法近年來取得顯著進(jìn)步，但仍可利用積累知識改進(jìn)。大型語言模型也利用知識提升響應(yīng)。對于疫情預(yù)測，利用之前研究中的疾病過程知識可改進(jìn)預(yù)測模型。基于工業(yè)或政府政策的未來知識在預(yù)測中非常有用。知識應(yīng)用于時(shí)間序列預(yù)測是長期目標(biāo)。有研究基于因果力量使用99條規(guī)則選擇和權(quán)衡預(yù)測結(jié)果。知識在特征選擇中可能很有用，無論是改進(jìn)預(yù)測還是提高可解釋性。為了提高時(shí)尚趨勢預(yù)測準(zhǔn)確性，開發(fā)了知識增強(qiáng)循環(huán)神經(jīng)網(wǎng)絡(luò)（KERN）模型，將知識納入模型提高預(yù)測精度。例如，為趨勢模式建立近遠(yuǎn)相似關(guān)系作為內(nèi)部知識，創(chuàng)建調(diào)節(jié)項(xiàng)添加到損失函數(shù)中。利用時(shí)尚元素本體論（分類和部分關(guān)系）作為外部知識，如果某個(gè)裙子的部分（例如，裙擺）的銷售上升，那么裙子的銷售很可能會上升。通過將輸入嵌入傳遞給編碼器來整合外部知識。由于添加了知識而帶來的改進(jìn)，特別是對于長期預(yù)測。
知識圖譜在COVID-19研究中的應(yīng)用。知識圖譜可以是RDF圖或LPG圖，其中RDF圖由三元組組成，LPG圖可以映射為三元組。時(shí)間知識圖譜（TKG）是四元組（x，y，z，t），表示在時(shí)間t上，對主體x和對象z施加的謂詞y為真。一些機(jī)構(gòu)利用CORD-19數(shù)據(jù)集進(jìn)行COVID-19研究。盡管與時(shí)序知識圖（TKG）預(yù)測匹配得很好，但用于COVID-19的TKG構(gòu)建工作很少。時(shí)序圖神經(jīng)網(wǎng)絡(luò)與注意力傳播（T-GAP）的方法可以用于構(gòu)建COVID-19的TKG，該模型使用基于當(dāng)前查詢的TKG信息，以及注意力流，使TKG補(bǔ)全更加準(zhǔn)確，提高了模型的解釋性。
表6 COVID-19知識圖譜
時(shí)空知識圖嵌入（TKGE）用于鏈接預(yù)測，特別是預(yù)測未來時(shí)。它將圖元素表示為潛在向量空間中的關(guān)系，包括時(shí)空關(guān)系，并確定向量之間的相對位置。目前已有多種TKG嵌入技術(shù)，如TAE、TTransE、Know-Evolve等，其中ATiSE還包括時(shí)間序列分解。然而，這些向量作為時(shí)空關(guān)系知識的程度能否改進(jìn)其他深度學(xué)習(xí)預(yù)測模型，仍是一個(gè)未解決的問題。需要進(jìn)一步研究TKG中的鏈接預(yù)測與MTS預(yù)測之間的協(xié)同作用。
將知識整合到深度學(xué)習(xí)模型中有復(fù)合損失函數(shù)、應(yīng)用約束、分解到自注意力機(jī)制、內(nèi)嵌并與輸入結(jié)合、注入下游層和知識影響架構(gòu)等方法。其中復(fù)合損失函數(shù)和約束可以視為正則化，分解到自注意力機(jī)制和內(nèi)嵌并與輸入結(jié)合可以增強(qiáng)模型對知識的理解和表達(dá)能力，注入下游層和知識影響架構(gòu)可以靈活地將知識注入到模型中，提高模型的泛化能力。
未來知識利用通過修改Transformers自注意機(jī)制，應(yīng)用于電子商務(wù)領(lǐng)域的生產(chǎn)相關(guān)和平臺相關(guān)知識。研究正在進(jìn)行中，以改進(jìn)大型語言模型（PLM），如BERT、GPT、BART和T5，通過使用符號知識如實(shí)體描述、知識圖和規(guī)則等。關(guān)鍵問題是設(shè)計(jì)適合PLM架構(gòu)的有效知識注入技術(shù)。多元時(shí)間序列預(yù)測是疫情預(yù)測的重要方面，LLM和MTS模型可能相互合作以提高預(yù)測準(zhǔn)確性和可解釋性。知識圖譜可用于增強(qiáng)PLM和轉(zhuǎn)換器模型在語言和MTS預(yù)測任務(wù)上的性能。最近的研究表明，傳統(tǒng)的注意力在捕捉時(shí)間依賴性方面可能并不必要，因此設(shè)想一種多模型方法來進(jìn)行疫情預(yù)測，其中語言模型、時(shí)間模式和知識理解與處理的專門模型相互合作。
為模型添加知識有兩種主要方式：結(jié)合科學(xué)預(yù)測模型的預(yù)測結(jié)果，如使用NCEP的GFS和ECMWF的ERA5氣候預(yù)報(bào)結(jié)果改進(jìn)PM2.5 GNN預(yù)測模型；以及應(yīng)用邏輯語言的增強(qiáng)知識圖神經(jīng)網(wǎng)絡(luò)（KeGNN），它支持屬性和關(guān)系的單值謂詞，邏輯映射到實(shí)值向量和函數(shù)，知識增強(qiáng)層從GNN中獲取預(yù)測并根據(jù)邏輯的滿足程度生成更新后的預(yù)測。在利用GNN進(jìn)行知識圖補(bǔ)全方面有大量研究，但在從知識圖中創(chuàng)建GNN方面的工作較少。例如，研究小組利用關(guān)于COVID-19的知識圖改善疫情預(yù)測，大型語言模型可從COVID-19科研文獻(xiàn)中提取信息，知識圖嵌入（KGEs）可用于將知識轉(zhuǎn)移到預(yù)測轉(zhuǎn)換器中，轉(zhuǎn)換器的自注意力機(jī)制可幫助選擇最有用的知識。
多時(shí)區(qū)預(yù)測是一項(xiàng)重要且具有挑戰(zhàn)性的任務(wù)，其準(zhǔn)確性隨著預(yù)測時(shí)間的延長而降低。預(yù)測的時(shí)間越長，其準(zhǔn)確性就越差。可行的預(yù)測時(shí)間因領(lǐng)域和所預(yù)測的內(nèi)容而異。例如，預(yù)測特定城市十年的日間最高和最低溫度是無意義的，而使用氣候模型以120個(gè)月的時(shí)間跨度預(yù)測全球平均表面溫度或太平洋/大西洋表面溫度則可以做到相當(dāng)準(zhǔn)確。許多論文都涉及到長序列時(shí)間序列預(yù)測的問題。
評估模型預(yù)測質(zhì)量的指標(biāo)包括時(shí)間序列變異性度量var(y)和隨機(jī)游走（RW@h1）。RW@h1對于一維預(yù)測效果良好，可作為衡量其他模型的標(biāo)準(zhǔn)。MSE、RMSE和MAE需要了解域及其單位才能解釋。NRMSE當(dāng)均值等于零時(shí)，可能會無限大，此時(shí)可以使用除以范圍（但受異常值影響很大）。MAPE和sMAPE隨單位而變化，例如從攝氏度變?yōu)殚_爾文會使誤差看起來更小。MASE[41]是一個(gè)尺度/單位不變的度量，值為1表示模型與RW@1相當(dāng)，小于1表示更好，大于1表示更差。
表7 預(yù)測質(zhì)量指標(biāo)
基于時(shí)間序列的時(shí)間依賴性，k折交叉驗(yàn)證不適用于訓(xùn)練和測試。一種方法是將數(shù)據(jù)集分為60%-40%的比例，用前60%的時(shí)間點(diǎn)訓(xùn)練模型，并使用這些參數(shù)值進(jìn)行預(yù)測。預(yù)測會隨時(shí)間下降，可以通過設(shè)置較小的預(yù)測窗口來解決。一旦完成預(yù)測，可以將窗口向前移動一個(gè)時(shí)間單位并重新進(jìn)行預(yù)測，將預(yù)測結(jié)果保存在矩陣中。這解決了參數(shù)的陳舊性問題，可以通過重新訓(xùn)練來解決。例如，可以設(shè)置每10個(gè)時(shí)間窗口重新訓(xùn)練一次。對于復(fù)雜的模型，可以使用增量訓(xùn)練來減少計(jì)算成本。這種技術(shù)被稱為滾動驗(yàn)證。對于基礎(chǔ)模型，可以選擇保持滾動驗(yàn)證過程不變，只是用微調(diào)代替訓(xùn)練。
元評價(jià)部分將總結(jié)近期論文中有關(guān)多個(gè)數(shù)據(jù)集的比較結(jié)果，包括Transformer溫度（ETT）、類似流感癥狀（ILI）、電力需求、天氣和交通數(shù)據(jù)，這些數(shù)據(jù)集均用于評估深度學(xué)習(xí)模型和基礎(chǔ)模型。具體來說，有以下數(shù)據(jù)集：
(1) ETTh1,2記錄了兩種電力負(fù)荷和Transformer油溫?cái)?shù)據(jù)，涉及兩個(gè)縣的兩個(gè)Transformer兩年內(nèi)的每小時(shí)數(shù)據(jù)。
(2) ETTm1,2則提供了每15分鐘記錄一次的電力負(fù)荷和Transformer油溫?cái)?shù)據(jù)，分別涉及兩個(gè)Transformer。
(3) ILI數(shù)據(jù)集包含流感癥狀患者的每周報(bào)告，涉及年齡組、報(bào)告提供者數(shù)量和ILI病例等變量。
(4) Electricity數(shù)據(jù)集記錄了321個(gè)客戶的每小時(shí)用電量，每個(gè)客戶只有一個(gè)變量：每小時(shí)用電量。
(5) Weather數(shù)據(jù)集涉及與天氣相關(guān)的多個(gè)變量，如濕度、二氧化碳水平和降雨量等，數(shù)據(jù)由馬克斯普朗克研究所維護(hù)。
(6) Traffic數(shù)據(jù)集提供了舊金山州立高速公路的車道占用率數(shù)據(jù)，由862個(gè)傳感器記錄，不包括其他變量如天氣條件。
為確保公平比較，新模型使用Informer模型或其后續(xù)模型的公開代碼庫，采用相同的數(shù)據(jù)加載、轉(zhuǎn)換和評估設(shè)置。但仍存在一些實(shí)驗(yàn)和建模差異：
這些差異影響模型的預(yù)測性能和效率。建模技術(shù)受限于其評估方法，因?yàn)樵u估中通常不包括簡單基準(zhǔn)模型，如隨機(jī)游走（RW）、平均模型（MM）或簡單移動平均值（SMA）。這些模型雖簡單，但可作為良好的起點(diǎn)，因?yàn)樗鼈儫o需訓(xùn)練。例如，圖3展示了按照年齡加權(quán)的患者ILI百分比，預(yù)測結(jié)果來自簡單的隨機(jī)游走基準(zhǔn)模型。這些結(jié)果通常在每個(gè)新提出的模型中收集，但可能因未重新運(yùn)行其他模型而不可重復(fù)。此外，評估中還存在潛在的不公平性來源，如省略測試時(shí)間步驟或使用不同的批量大小。然而，通過進(jìn)一步調(diào)整超參數(shù)，可以對這些模型進(jìn)行微小改進(jìn)。因此，遵循標(biāo)準(zhǔn)化設(shè)置和改進(jìn)設(shè)置將有助于后續(xù)工作。
圖3 顯示流感樣疾病（ILI）的每周病人就診百分比：訓(xùn)練（紅色），測試（藍(lán)色），RW（橙色）
表8對所研究的建模技術(shù)進(jìn)行了比較分析，包括基于LLM的模型（GPT4TS）、基于Transformer的模型（PatchTST/42、FEDformer、Autoformer、Stationary、ETSformer、Informer和Reformer）、基于CNN的模型（TimesNet）和基于MLP的模型（NLinear、DLinear和LightTS）。評估采用均方誤差（MSE）和平均相對誤差（MAE）進(jìn)行標(biāo)準(zhǔn)化觀測值和預(yù)測值的比較，所有特征和預(yù)測時(shí)限的平均值。結(jié)果顯示，PatchTST始終優(yōu)于其他建模技術(shù)，例如基于預(yù)訓(xùn)練LLM的GPT4TS。PatchTST與其他模型相比也具有很高的競爭力，與NLinear得分相當(dāng)。對于所有建模技術(shù)，電力和交通數(shù)據(jù)集上的預(yù)測性能相對穩(wěn)定。然而，ETT和ILI數(shù)據(jù)集上的預(yù)測性能波動較大，尤其是對于Informer和Reformer模型來說。
表8 使用不同回溯窗口對ILI和其他數(shù)據(jù)集的{24, 36, 48, 60}個(gè)預(yù)測期進(jìn)行模型比較。使用的評估指標(biāo)是對歸一化的觀測值和預(yù)測值的均方誤差（MSE）和平均絕對誤差（MAE）。分?jǐn)?shù)越低，預(yù)測性能越好。最好的分?jǐn)?shù)用粗體突出顯示。
參考鏈接：https://arxiv.org/abs/2401.13912
文章轉(zhuǎn)自微信公眾號@算法進(jìn)階