6.我們的貢獻

我們參照(Chandola等人[2007]【1】)的深度異常檢測(DAD)的調查方法。我們的調查對DAD技術的研究和應用進行了詳細和結構化的概述。我們把我們的主要貢獻總結如下：

  • 現有的大多數關於DAD技術的調查要麼關注特定的應用領域，要麼關注特定的研究領域。(Kiran等人[2018]【13】，Mohammadi等人[2017]【11】，Litjens等人[2017]，Kwon等人[2017]，Adewumi和AkinYelu[2017]，Ball等人[2017年])。本文旨在全面概述DAD技術的研究現狀，以及這些技術在實際場景中的應用。
  • 近年來，人們開發了幾種新的基於深度學習的異常檢測技術，大大降低了計算量。本文的目的是對這些技術進行綜述，並將其分類為一個有組織的模式，以便更好地理解這些技術。我們介紹了另外兩個子類別的混合模型(Erfani等人[2016a]【17】)和一類神經網路技術(Chalapathy等。[2018a]【18】)如圖5所示，對於每個類別，我們都討論了為獲得最佳性能而採用的假設和技術。此外，在每一類中，我們還介紹了DAD方法的挑戰、優點和缺點，並概述了DAD方法的計算複雜性。

7.組織

本章按照圖5中描述的結構組織。在第8節中，我們確定了決定問題形成的各個方面，並強調了異常檢測相關的豐富性和複雜性。我們引入並定義了兩種類型的模型：上下文模型、集體模型或羣體異常模型。在第9節中，我們簡要描述了基於深度學習的異常檢測的不同應用領域。在後面的章節中，我們將根據深度學習技術所屬的研究領域對其進行分類。根據訓練目標和標籤可用性，基於深度學習的異常檢測技術可以分為有監督的(10.1節)、無監督的(10.5節)、混合的(10.3節)和單類神經網路(10.4節)。對於每一類技術，我們還討論了它們在訓練和測試階段的計算複雜度。在第8.4節中，我們將討論基於點、上下文和集體(組)深度學習的異常檢測技術。我們在第12節中討論了各種現有技術的侷限性和相對性能。第13節是結束語。

表2：說明輸入數據的性質和文獻中提到的相應的深異常檢測模型體系結構。

CNN: Convolution Neural Networks, LSTM : Long Short Term Memory Networks AE: Autoencoders.

8.基於深度學習的異常檢測的不同方面

本節確定並討論基於深度學習的異常檢測的不同方面。

8.1 輸入數據的性質

在深度異常檢測方法中，深度神經網路結構的選擇主要取決於輸入數據的性質。輸入數據可以大致分為序列數據(如語音、文本、音樂、時間序列、蛋白質序列)或非序列數據(如圖像和其他數據)。表2說明瞭用於異常檢測的輸入數據和深度模型體系結構的性質。此外，根據輸入的數據的特性(或屬性)的數量，可以進一步分為低維或高維數據。DAD技術一直用來學習高維原始輸入數據中複雜的層次特徵關係(LeCun et al.[2015]【19】)。DAD技術中使用的層數由輸入數據維度決定，更深層次的網路在高維數據上表現出更好的性能。稍後，在第10節中，將深入討論用於離羣點檢測的各種模型。

8.2 根據標籤的可用性

標籤可以把數據實例分為正常值和異常值。異常是罕見的實體，因此獲取它們的標籤是很有挑戰性的。此外，異常行為可能會隨著時間的推移而發生變化，例如，異常的性質發生了顯著的變化，以至於在Maroochy水處理廠長期未被注意，導致1.5億升未經處理的污水泄漏到當地水道(Ramotsoela等人[2018]【19】)。

根據標籤的可用性程度，深度異常檢測(DAD)模型大致可分為三類：

a. 有監督的深度異常檢測
b. 半監督的深度異常檢測
c. 無監督的深度異常檢測

8.2.1 有監督的深度異常檢測

有監督的深度異常檢測通過使用正常和異常數據實例的標籤來訓練二分類或多類分類判別器。例如，作為多類分類器的supervised DAD模型有助於檢測稀有品牌、違禁藥品名稱提及欺詐性醫療交易(Chalapathy等人[2016a,b]【21】)。儘管有監督的DAD方法性能有所提高，但由於缺乏標記的訓練樣本，這些方法不如半監督或非監督方法那樣流行。此外，由於類別的不平衡，使用異常檢測器的深度監督分類器的性能是次優的(正類數據實例的總數遠遠大於負類數據實例的總數)。因此，在本研究中，我們不考慮對監督DAD方法的回顧。

8.2.2 半監督的深度異常探測

正常實例的標籤比異常更容易獲得，因此,半監督DAD技術被廣泛採用，這些技術利用現有的單個(通常為正類)標籤來分離5個異常值。利用深度自編碼器進行異常檢測的一種常用方法是在無異常的數據樣本上進行半監督訓練。有了足夠的訓練樣本，對於正常和異常情況，正常類自動編碼器的重構誤差較低(Wulsin等人.[2010]【22】， Nadeem等人.[2016]【23】， Song等人.[2017]【24】)。我們將在第10.2節中詳細回顧這些方法。

圖6:基於異常檢測的深度學習模型類型的分類

8.2.3 無監督的深度異常檢測

無監督深度的異常檢測技術僅基於數據實例的內在屬性來檢測異常值。無監督DAD技術被用於未標記數據樣本的自動標記，因為很難獲得有標記的數據(Patterson和Gibson[2017]【25】)。變異的無監督DAD模型(Tuor等人[2017]【26】)實驗結果表明優於傳統方法,如主成分分析(PCA)(wold等人[1987]【27】),支持向量機(SVM)（corts和Vapnik[1995]【28】）和孤立森林(Liu等人[2008]【29】)等技術在應用領域如醫療和網路安全中的表現。自動編碼器是所有無監督DAD模型的核心。這些模型假定正常實例的發生率高於異常數據實例的失敗率，這將導致較高的假陽性率。此外無監督學習演算法,如受限玻耳茲曼機(RBM)(Sutskever等人[2009]【30】),深層玻耳茲曼機(DBM),深層信念網路(DBN) (Salakhutdinov和Larochelle[2010]【31】),廣義去噪自動編碼器(Vincent等人[2008]【32】),遞歸神經網路(RNN)(Rodriguez等人[1999]【33】)短期記憶網路(Lample等人[2016]【34】)用於檢測異常值將在11.7節中詳細討論。

引用

  1. 《Outlier detection: A survey》Varun Chandola, Arindam Banerjee, and Vipin Kumar. ACM Computing Surveys, 2007
  2. 《Identification of Outliers》D. Hawkins. Chapman and Hall, London, 1980.
  3. Ahmad Javaid, Quamar Niyaz, Weiqing Sun, and Mansoor Alam. 《A deep learning approach for network intrusion detection system》. In Proceedings of the 9th EAI International Conference on Bio-inspired Information and Communications Technologies (formerly BIONETICS), pages 21–26. ICST (Institute for Computer Sciences, SocialInformatics and Telecommunications Engineering), 2016.
  4. Huan-Kai Peng and Radu Marculescu. 《Multi-scale compositionality: identifying the compositional structures of social dynamics using deep learning》. PloS one, 10(4):e0118309, 2015.
  5. Charu C Aggarwal. An introduction to outlier analysis. In Outlier analysis, pages 1–40. Springer, 2013.
  6. Dubravko Miljkovic. 《Review of novelty detection methods》. In ′ MIPRO, 2010 proceedings of the 33rd international convention, pages 593–598. IEEE, 2010.
  7. Marco AF Pimentel, David A Clifton, Lei Clifton, and Lionel Tarassenko. 《A review of novelty detection》. Signal Processing, 99:215–249, 2014.
  8. Aderemi O Adewumi and Andronicus A Akinyelu. 《A survey of machine-learning and nature-inspired based credit card fraud detection techniques》. International Journal of System Assurance Engineering and Management, 8(2):937–953, 2017.
  9. Donghwoon Kwon, Hyunjoo Kim, Jinoh Kim, Sang C Suh, Ikkyun Kim, and Kuinam J Kim. 《A survey of deep learning-based network anomaly detection》. Cluster Computing, pages 1–13, 2017.
  10. Geert Litjens, Thijs Kooi, Babak Ehteshami Bejnordi, Arnaud Arindra Adiyoso Setio, Francesco Ciompi, Mohsen Ghafoorian, Jeroen Awm Van Der Laak, Bram Van Ginneken, and Clara I Sanchez. 《A survey on deep learning in ′ medical image analysis》. Medical image analysis, 42:60–88, 2017.
  11. Mehdi Mohammadi, Ala Al-Fuqaha, Sameh Sorour, and Mohsen Guizani. 《Deep learning for iot big data and streaming analytics: A survey》. arXiv preprint arXiv:1712.04301, 2017.
  12. John E Ball, Derek T Anderson, and Chee Seng Chan.《Comprehensive survey of deep learning in remote sensing: theories, tools, and challenges for the community》. Journal of Applied Remote Sensing, 11(4):042609, 2017.
  13. B Ravi Kiran, Dilip Mathew Thomas, and Ranjith Parakkal. 《An overview of deep learning based methods for unsupervised and semi-supervised anomaly detection in videos》. arXiv preprint arXiv:1801.03149, 2018.
  14. Bahnsen Alejandro, Correa. Building ai applications using deep learning. 2016. URL ：「blog.easysol.net/wp-con.」
  15. Xuemei Xie, Chenye Wang, Shu Chen, Guangming Shi, and Zhifu Zhao. Real-time illegal parking detection system based on deep learning. In Proceedings of the 2017 International Conference on Deep Learning Technologies, pages 23–27. ACM, 2017.
  16. Thomas Schlegl, Philipp Seebock, Sebastian M Waldstein, Ursula Schmidt-Erfurth, and Georg Langs. Unsupervised ¨ anomaly detection with generative adversarial networks to guide marker discovery. In International Conference on Information Processing in Medical Imaging, pages 146–157. Springer, 2017.
  17. Sarah M Erfani, Sutharshan Rajasegarar, Shanika Karunasekera, and Christopher Leckie. High-dimensional and largescale anomaly detection using a linear one-class svm with deep learning. Pattern Recognition, 58:121–134, 2016a
  18. Raghavendra Chalapathy, Aditya Krishna Menon, and Sanjay Chawla. Anomaly detection using one-class neural networks. arXiv preprint arXiv:1802.06360, 2018a.
  19. Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. nature, 521(7553):436, 2015.
  20. Daniel Ramotsoela, Adnan Abu-Mahfouz, and Gerhard Hancke. 《A survey of anomaly detection in industrial wirelesssensor networks with critical water system infrastructure as a case study. Sensors》, 18(8):2491, 2018.
  21. Raghavendra Chalapathy, Ehsan Zare Borzeshi, and Massimo Piccardi. 《An investigation of recurrent neural architectures for drug name recognition》. arXiv preprint arXiv:1609.07585, 2016a.
  22. Drausin Wulsin, Justin Blanco, Ram Mani, and Brian Litt. 《Semi-supervised anomaly detection for eeg waveforms using deep belief nets》. In Machine Learning and Applications (ICMLA), 2010 Ninth International Conference on, pages 436–441. IEEE, 2010.
  23. Mutahir Nadeem, Ochaun Marshall, Sarbjit Singh, Xing Fang, and Xiaohong Yuan. 《Semi-supervised deep neural network for network intrusion detection》. 2016.
  24. Hongchao Song, Zhuqing Jiang, Aidong Men, and Bo Yang. 《A hybrid semi-supervised anomaly detection model for high-dimensional data. Computational intelligence and neuroscience》, 2017, 2017.
  25. Josh Patterson and Adam Gibson. 《Deep Learning: A Practitioner』s Approach》. 」 O』Reilly Media, Inc.」, 2017.
  26. Aaron Tuor, Samuel Kaplan, Brian Hutchinson, Nicole Nichols, and Sean Robinson. 《Deep learning for unsupervised insider threat detection in structured cybersecurity data streams》. arXiv preprint arXiv:1710.00811, 2017.
  27. Svante Wold, Kim Esbensen, and Paul Geladi. 《Principal component analysis. Chemometrics and intelligent laboratory systems》, 2(1-3):37–52, 1987.
  28. Corinna Cortes and Vladimir Vapnik. 《Support-vector networks. Machine learning》, 20(3):273–297, 1995.
  29. Fei Tony Liu, Kai Ming Ting, and Zhi-Hua Zhou. 《Isolation forest. In Data Mining》, 2008. ICDM』08. Eighth IEEE International Conference on, pages 413–422. IEEE, 2008.
  30. Ilya Sutskever, Geoffrey E Hinton, and Graham W Taylor. 《The recurrent temporal restricted boltzmann machine》. In Advances in Neural Information Processing Systems, pages 1601–1608, 2009.
  31. Ruslan Salakhutdinov and Hugo Larochelle. 《Efficient learning of deep boltzmann machines. In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics》, pages 693–700, 2010.
  32. Pascal Vincent, Hugo Larochelle, Yoshua Bengio, and Pierre-Antoine Manzagol. 《Extracting and composing robust features with denoising autoencoders. In Proceedings of the 25th international conference on Machine learning》, pages 1096–1103. ACM, 2008.
  33. Paul Rodriguez, Janet Wiles, and Jeffrey L Elman. 《A recurrent neural network that learns to count. Connection Science》, 11(1):5–40, 1999.
  34. Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. 《Neural architectures for named entity recognition》. arXiv preprint arXiv:1603.01360, 2016.

參看前文：

飄哥：論文：《使用深度學習進行異常檢測的方法綜述》（第一部分）?

zhuanlan.zhihu.com圖標
推薦閱讀：

相關文章