欧美国产第一页,91精品91久久久久久,久久七国产精品

一、時(shí)間序列異常檢測(cè)概述

在本文中，作者介紹了一些與DCdetector相關(guān)的工作，包括異常檢測(cè)和對(duì)比學(xué)習(xí)。

檢測(cè)時(shí)間序列中異常的方法多種多樣，包括統(tǒng)計(jì)方法、經(jīng)典機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。統(tǒng)計(jì)方法包括使用移動(dòng)平均、指數(shù)平滑和自回歸綜合移動(dòng)平均（ARIMA）模型。機(jī)器學(xué)習(xí)方法包括聚類算法，如k-均值和基于密度的方法，以及分類算法，如決策樹和支持向量機(jī)（SVMs）。深度學(xué)習(xí)方法包括使用自動(dòng)編碼器、變分自動(dòng)編碼器（VAEs）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs），如長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)。最近在時(shí)間序列異常檢測(cè)方面的工作還包括基于生成對(duì)抗網(wǎng)絡(luò)（GANs）的方法和基于深度強(qiáng)化學(xué)習(xí)（DRL）的方法。一般來(lái)說(shuō)，深度學(xué)習(xí)方法在識(shí)別時(shí)間序列中的異常方面更有效。

時(shí)間序列異常檢測(cè)模型大致可以分為兩類：有監(jiān)督和無(wú)監(jiān)督異常檢測(cè)算法。當(dāng)異常標(biāo)簽可用或負(fù)擔(dān)得起時(shí)，有監(jiān)督的方法可以表現(xiàn)得更好；在難以獲得異常標(biāo)簽的情況下，可以應(yīng)用無(wú)監(jiān)督異常檢測(cè)算法。無(wú)監(jiān)督深度學(xué)習(xí)方法在時(shí)間序列異常檢測(cè)中得到了廣泛的研究。

對(duì)比表示學(xué)習(xí)：對(duì)比表示學(xué)習(xí)的目標(biāo)是學(xué)習(xí)一個(gè)嵌入空間，其中相似的數(shù)據(jù)樣本彼此保持靠近，而不相似的數(shù)據(jù)樣本則相距較遠(yuǎn)。使用對(duì)比設(shè)計(jì)使兩種類型的樣本之間的距離更大具有啟發(fā)意義。我們嘗試使用經(jīng)過精心設(shè)計(jì)的多尺度拼接注意力模塊來(lái)區(qū)分時(shí)間序列異常和正常點(diǎn)。此外，我們的DCdetector也不需要負(fù)樣本，并且即使沒有“stop gradient”也不會(huì)失效。

圖1：三種方法的體系結(jié)構(gòu)比較?；谥貥?gòu)的方法使用表示神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)正常點(diǎn)的模式并進(jìn)行重構(gòu)。在異常變壓器中，用高斯核學(xué)習(xí)先驗(yàn)差異，用變壓器模塊學(xué)習(xí)關(guān)聯(lián)差異；MinMax關(guān)聯(lián)學(xué)習(xí)也是至關(guān)重要的，并且包含了重構(gòu)損失。DCdetector非常簡(jiǎn)潔，沒有特別設(shè)計(jì)的高斯核或MinMax學(xué)習(xí)策略，也沒有重構(gòu)損失。

二、基于對(duì)比學(xué)習(xí)的時(shí)間序列異常檢測(cè)方法

在DCdetector中，我們提出了一種具有雙注意的對(duì)比表示學(xué)習(xí)結(jié)構(gòu)，從不同的角度獲得輸入時(shí)間序列的表示。雙注意對(duì)比結(jié)構(gòu)模塊在我們的設(shè)計(jì)中至關(guān)重要。它學(xué)習(xí)了不同視角下輸入的表示。

我們的洞察是，對(duì)于正常點(diǎn)，它們大多數(shù)情況下即使在不同的視角下也會(huì)共享相同的潛在模式（強(qiáng)相關(guān)性不容易被破壞）。然而，由于異常點(diǎn)很少且沒有明確的模式，它們很難與正常點(diǎn)或彼此之間共享潛在模式（即，異常點(diǎn)與其他點(diǎn)之間的相關(guān)性較弱）。因此，正常點(diǎn)在不同視角下的表示差異將很小，而異常點(diǎn)的表示差異將很大。我們可以通過一個(gè)精心設(shè)計(jì)的表示差異標(biāo)準(zhǔn)來(lái)區(qū)分異常點(diǎn)和正常點(diǎn)。至于異常標(biāo)準(zhǔn)，我們基于兩種表示之間的差異來(lái)計(jì)算異常分?jǐn)?shù)，并使用先驗(yàn)閾值進(jìn)行異常檢測(cè)。

圖2：DCdetector框架的工作流程。DCdetector由四個(gè)主要模塊組成：正向過程模塊、雙注意對(duì)比結(jié)構(gòu)模塊、表示差異模塊和異常準(zhǔn)則模塊。

圖3：基本補(bǔ)丁注意。將多元時(shí)間序列輸入中的每個(gè)通道被視為一個(gè)單一的時(shí)間序列，并劃分為斑塊。每個(gè)通道共享相同的自注意網(wǎng)絡(luò)，表示結(jié)果被連接為最終輸出。

圖4：關(guān)于如何進(jìn)行上采樣的一個(gè)簡(jiǎn)單示例。對(duì)于補(bǔ)丁分支，在補(bǔ)丁中重復(fù)（從補(bǔ)丁到點(diǎn)）。對(duì)于補(bǔ)丁內(nèi)分支，從“一個(gè)”補(bǔ)丁到全部補(bǔ)?。◤狞c(diǎn)到補(bǔ)?。┻M(jìn)行重復(fù)。

三、實(shí)驗(yàn)結(jié)果

我們根據(jù)各種評(píng)估標(biāo)準(zhǔn)將我們的模型與 26 個(gè)基線進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，與各種最先進(jìn)的算法相比，DCdetector在七個(gè)基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了最佳或可比的性能。

表1：對(duì)真實(shí)世界的多變量數(shù)據(jù)集的總體結(jié)果。性能從最低到最高。P、R和f1是精度、查全率和f1分?jǐn)?shù)。（所有的結(jié)果都是%的，最好的是粗體的，次之是下劃線的。下同）

表2：在真實(shí)世界的多變量數(shù)據(jù)集上的多度量結(jié)果。Aff-P和Aff-R分別是隸屬度度量[31]的精確度和查全率。R_A_R和R_A_P分別為Range-AUC-ROC和Range-AUC-PR [49]，分別表示基于ROC曲線和PR曲線下的標(biāo)簽轉(zhuǎn)換的兩個(gè)分?jǐn)?shù)。V_ROC和V_RR分別是基于ROC曲線和PR曲線[49]創(chuàng)建的表面下的體積。

表3：NIPS-TS數(shù)據(jù)集的總體結(jié)果。性能從最低到最高。

表4：NIPS-TS數(shù)據(jù)集上的多指標(biāo)結(jié)果。

表5：DCdetector中停止梯度的消融研究。

表6：DC檢測(cè)器中正向過程模塊的消融研究。

表7：?jiǎn)巫兞繑?shù)據(jù)集的總體結(jié)果。

圖5：對(duì)不同類型異常的DCdetector和異常變壓器之間的地面-真實(shí)異常和異常得分的可視化比較。

圖6：DCdetector中主要超參數(shù)的參數(shù)靈敏度研究。

圖7：在不同????????????大小的訓(xùn)練期間，平均GPU內(nèi)存成本和100次迭代的平均運(yùn)行時(shí)間。

四、結(jié)論

我們?cè)贒Cdetector中設(shè)計(jì)了一個(gè)基于對(duì)比學(xué)習(xí)的雙注意結(jié)構(gòu)來(lái)學(xué)習(xí)一個(gè)排列不變表示。這種表示擴(kuò)大了正常點(diǎn)和異常點(diǎn)之間的差異，提高了檢測(cè)精度。此外，還實(shí)現(xiàn)了兩種設(shè)計(jì)：多尺度和通道獨(dú)立補(bǔ)丁，以提高性能。

此外，我們提出了一個(gè)無(wú)重構(gòu)誤差的純對(duì)比損失函數(shù)，并通過經(jīng)驗(yàn)證明了對(duì)比表示與廣泛使用的重構(gòu)表示相比的有效性。最后，大量的實(shí)驗(yàn)表明，與各種最先進(jìn)的算法相比，DCdetector在7個(gè)基準(zhǔn)數(shù)據(jù)集上取得了最佳的或可比較的性能。

文章轉(zhuǎn)自微信公眾號(hào)@算法進(jìn)階