一、時間序列異常檢測概述

在本文中,作者介紹了一些與DCdetector相關的工作,包括異常檢測和對比學習。

檢測時間序列中異常的方法多種多樣,包括統計方法、經典機器學習方法和深度學習方法。統計方法包括使用移動平均、指數平滑和自回歸綜合移動平均(ARIMA)模型。機器學習方法包括聚類算法,如k-均值和基于密度的方法,以及分類算法,如決策樹和支持向量機(SVMs)。深度學習方法包括使用自動編碼器、變分自動編碼器(VAEs)和循環神經網絡(RNNs),如長短期記憶(LSTM)網絡。最近在時間序列異常檢測方面的工作還包括基于生成對抗網絡(GANs)的方法和基于深度強化學習(DRL)的方法。一般來說,深度學習方法在識別時間序列中的異常方面更有效。

時間序列異常檢測模型大致可以分為兩類:有監督和無監督異常檢測算法。當異常標簽可用或負擔得起時,有監督的方法可以表現得更好;在難以獲得異常標簽的情況下,可以應用無監督異常檢測算法。無監督深度學習方法在時間序列異常檢測中得到了廣泛的研究。

對比表示學習:對比表示學習的目標是學習一個嵌入空間,其中相似的數據樣本彼此保持靠近,而不相似的數據樣本則相距較遠。使用對比設計使兩種類型的樣本之間的距離更大具有啟發意義。我們嘗試使用經過精心設計的多尺度拼接注意力模塊來區分時間序列異常和正常點。此外,我們的DCdetector也不需要負樣本,并且即使沒有“stop gradient”也不會失效。

圖1:三種方法的體系結構比較?;谥貥嫷姆椒ㄊ褂帽硎旧窠浘W絡來學習正常點的模式并進行重構。在異常變壓器中,用高斯核學習先驗差異,用變壓器模塊學習關聯差異;MinMax關聯學習也是至關重要的,并且包含了重構損失。DCdetector非常簡潔,沒有特別設計的高斯核或MinMax學習策略,也沒有重構損失。

二、基于對比學習的時間序列異常檢測方法

在DCdetector中,我們提出了一種具有雙注意的對比表示學習結構,從不同的角度獲得輸入時間序列的表示。雙注意對比結構模塊在我們的設計中至關重要。它學習了不同視角下輸入的表示。

我們的洞察是,對于正常點,它們大多數情況下即使在不同的視角下也會共享相同的潛在模式(強相關性不容易被破壞)。然而,由于異常點很少且沒有明確的模式,它們很難與正常點或彼此之間共享潛在模式(即,異常點與其他點之間的相關性較弱)。因此,正常點在不同視角下的表示差異將很小,而異常點的表示差異將很大。我們可以通過一個精心設計的表示差異標準來區分異常點和正常點。至于異常標準,我們基于兩種表示之間的差異來計算異常分數,并使用先驗閾值進行異常檢測。

圖2:DCdetector框架的工作流程。DCdetector由四個主要模塊組成:正向過程模塊、雙注意對比結構模塊、表示差異模塊和異常準則模塊。

圖3:基本補丁注意。將多元時間序列輸入中的每個通道被視為一個單一的時間序列,并劃分為斑塊。每個通道共享相同的自注意網絡,表示結果被連接為最終輸出。

圖4:關于如何進行上采樣的一個簡單示例。對于補丁分支,在補丁中重復(從補丁到點)。對于補丁內分支,從“一個”補丁到全部補丁(從點到補?。┻M行重復。

三、實驗結果

我們根據各種評估標準將我們的模型與 26 個基線進行比較。實驗結果表明,與各種最先進的算法相比,DCdetector在七個基準數據集上實現了最佳或可比的性能。

表1:對真實世界的多變量數據集的總體結果。性能從最低到最高。P、R和f1是精度、查全率和f1分數。(所有的結果都是%的,最好的是粗體的,次之是下劃線的。下同)

表2:在真實世界的多變量數據集上的多度量結果。Aff-P和Aff-R分別是隸屬度度量[31]的精確度和查全率。R_A_R和R_A_P分別為Range-AUC-ROC和Range-AUC-PR [49],分別表示基于ROC曲線和PR曲線下的標簽轉換的兩個分數。V_ROC和V_RR分別是基于ROC曲線和PR曲線[49]創建的表面下的體積。

表3:NIPS-TS數據集的總體結果。性能從最低到最高。

表4:NIPS-TS數據集上的多指標結果。

表5:DCdetector中停止梯度的消融研究。

表6:DC檢測器中正向過程模塊的消融研究。

表7:單變量數據集的總體結果。

圖5:對不同類型異常的DCdetector和異常變壓器之間的地面-真實異常和異常得分的可視化比較。

圖6:DCdetector中主要超參數的參數靈敏度研究。

圖7:在不同????????????大小的訓練期間,平均GPU內存成本和100次迭代的平均運行時間。

四、結論

我們在DCdetector中設計了一個基于對比學習的雙注意結構來學習一個排列不變表示。這種表示擴大了正常點和異常點之間的差異,提高了檢測精度。此外,還實現了兩種設計:多尺度和通道獨立補丁,以提高性能。

此外,我們提出了一個無重構誤差的純對比損失函數,并通過經驗證明了對比表示與廣泛使用的重構表示相比的有效性。最后,大量的實驗表明,與各種最先進的算法相比,DCdetector在7個基準數據集上取得了最佳的或可比較的性能。

文章轉自微信公眾號@算法進階

上一篇:

圖神經網絡綜述:從Deepwalk到GraphSAGE,GCN,GAT

下一篇:

綜述論文詳解卷積網絡的數學本質
#你可能也喜歡這些API文章!

我們有何不同?

API服務商零注冊

多API并行試用

數據驅動選型,提升決策效率

查看全部API→
??

熱門場景實測,選對API

#AI文本生成大模型API

對比大模型API的內容創意新穎性、情感共鳴力、商業轉化潛力

25個渠道
一鍵對比試用API 限時免費

#AI深度推理大模型API

對比大模型API的邏輯推理準確性、分析深度、可視化建議合理性

10個渠道
一鍵對比試用API 限時免費