答案無疑是否定的。

AI技術非但無法終結黑客行為，反而會為黑客提供新的攻擊面甚至攻擊對象。實際上，AI本身的安全就是一個亟待解決的問題。這也是MindSpore需要增加一個安全引擎MindArmour的原因。

近些年，受益於算力的發展和深度神經網路展現出的優異性能，深度人工智慧已經成功在諸多領域得以應用。然而與此同時，研究者們發現，AI演算法也暴露了很多內生的安全問題。我們列舉一些最受關注的方面，並簡要探討黑客基於這些安全問題攻擊AI演算法的常見思路。

  • 對抗樣本問題。

對抗樣本是在一個正常樣本上添加一個經過人類不易察覺的微小惡意擾動，而改變AI演算法的推理結果。如圖1所示，對於分類模型，加入對抗性的擾動可以導致模型分類錯誤。

圖1

圖1. 對一張大熊貓圖片增加少量擾動可以使模型將其錯誤分類為長臂猿[1]

設想，如果信息系統使用了基於AI的防禦機制，黑客可以考慮使用對抗樣本繞過防禦。例如，很多研究指出，對抗樣本可以繞過基於AI的終端系統惡意軟體檢測機制（Malware Detection）[2][3]][4]。

甚至，對抗樣本可能成為黑客攻擊信息系統的新手段。例如，幾張對抗性的貼紙就可能使得自動駕駛系統無法識別交通標識[5]。

圖2

圖2. 對停車標誌（Stop Sign）增加少量擾動可以使模型無法識別該標識[5]

  • 數據投毒問題

我們知道，AI演算法需要在合適的數據集上訓練。如果數據集恰好被黑客污染，則訓練出的模型會受到污染數據的影響，而展現出黑客希望的行為[6]。

在爬蟲識別、垃圾郵件分類等一些應用中，如果演算法有在線學習的機制，黑客可能會故意的向演算法注入惡意數據，達到繞過識別的特定目的。數據投毒攻擊同樣有可能發生在聯邦學習中[7]。

例如，Google曾經介紹過發生在垃圾郵件分類器上的數據投毒攻擊案例。一些垃圾郵件製造者試圖通過將大量垃圾郵件提交為非垃圾郵件來使郵件分類器發生偏斜[8]。

又例如，微軟的Twitter在線學習對話機器人，在極短時間內即學習了大量種族主義言論[9]

圖3

圖3. 微軟在Twitter上線的對話機器人極短時間內即學習了大量種族主義言論[9]

  • 可解釋問題

對於當前多數成功的深度學習應用，模型仍是無法理解的「黑盒」，人類無法從模型的結構或權重中獲取可用於解釋模型行為的信息。

我們發表一系列博文介紹AI可解釋的問題，具體請移《MindSpore首次開源可解釋AI能力（https://zhuanlan.zhihu.com/p/345190949）》，《可解釋AI如何幫助圖片分類模型調試調優-可解釋AI系列博文（二）（https://zhuanlan.zhihu.com/p/345200994）》。

  • 信息泄露問題

我們最後談談AI的信息泄露問題，黑客可能直接攻擊AI獲得關鍵的數據資產。很多時候，訓練數據集和訓練好的模型都是高價值資產，可能會成為黑客新的攻擊目標。除去傳統的侵入信息系統之外，黑客可能通過調用AI服務的API，獲得訓練數據中的高價值信息[10]，甚至重構模型本身。

圖4

圖4. 對GPT-2輸入特定的前綴，模型會輸出大量訓練數據集中的敏感信息[10]

可以看出，AI演算法的安全可信非常重要。即使AI技術得以廣泛使用，也無法成為保證安全的「銀彈」和「萬靈藥」。Gartner 將AI安全列入了2020年度十大技術趨勢[11]，並大膽預測未來30%以上的網路攻擊都將涉及對AI的攻擊[12]。

因此，如果將AI演算法應用於和信息安全（Security）或者功能安全（Safety）密切相關的領域，對於其安全可信的考察、衡量和防護是非常重要的。

當然，黑客甚至可以使用AI技術發起攻擊。這又是另一個廣闊的領域了。在此不做展開。

回到問題本身。安全技術的發展是永恆的規律，攻防雙方的戰爭從未止息。黑客當然也不會消失。

Reference

[1]Goodfellow, Ian J. et al. 「Explaining and Harnessing Adversarial Examples.」 CoRR abs/1412.6572 (2015).

[2]Grosse, Kathrin, et al. "Adversarial examples for malware detection." European symposium on research in computer security. Springer, Cham, 2017.

[3]Li, Heng, et al. "Adversarial-example attacks toward android malware detection system." IEEE Systems Journal 14.1 (2019): 653-656.

[4]Hu, Weiwei, and Ying Tan. "Black-box attacks against RNN based malware detection algorithms." arXiv preprint arXiv:1705.08131 (2017).

[5]Zhao, Yue, et al. "Seeing isnt believing: Towards more robust adversarial attack against real world object detectors." Proceedings of the 2019 ACM SIGSAC Conference on Computer and Communications Security. 2019.

[6]Gu, Tianyu, Brendan Dolan-Gavitt, and Siddharth Garg. "Badnets: Identifying vulnerabilities in the machine learning model supply chain." arXiv preprint arXiv:1708.06733 (2017).

[7]Tolpegin, Vale, et al. "Data poisoning attacks against federated learning systems." European Symposium on Research in Computer Security. Springer, Cham, 2020.

[8]https://www.anquanke.com/post/id/205097

[9]https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist】

[10]Carlini, Nicholas, et al. "Extracting Training Data from Large Language Models." arXiv preprint arXiv:2012.07805 (2020).

[11]https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2020/

[12]https://stefanini.com/en/trends/news/gartner-top-10-strategic-tech-trends-in-2020-ai-security

智械畢竟是機器。機器是人類創造的，多少會有bug，黑客這個領域只要信息時代還在，就不會消失。

未來黑客可能會消失 但是hacker精神不會消失

其實回歸到所有，黑客尋找的都是人為的漏洞，邏輯上的漏洞，甚至是各種場景的缺陷

當AI時代的全面來臨，面對自我學習能力更為強大的ai來說，可能尋找漏洞的概率越來越小

但是！只要有人掌控的地方，一定有缺陷，一定有漏洞

參考電影 驚天魔盜團 世紀大劫案

不會消失，增加很多的攻擊面吧

推薦閱讀：
相關文章