前不久，來自騰訊科恩實驗室的研究人員們找到了幾種使用「物理攻擊」的方式欺騙特斯拉自動駕駛系統的方法。

　　在騰訊放出的視頻中我們可以看到，科恩實驗室發現：

　　1.利用 AI 對抗樣本生成特定圖像並進行幹擾時，特斯拉的 Autopilot 系統輸出了「錯誤」的識別結果，導致車輛雨刷啓動。

　　2.在道路特定位置貼上幾個貼紙，可以讓處在自動駕駛模式的汽車併入反向車道。

　　3.獲取 Autopilot 控制權之後，即使 Autopilot 系統沒有被車主主動開啓，也可以利用 Autopilot 功能實現通過 Xbox 遊戲手柄對車輛行駛方向進行操控。

　　特斯拉的 Autopilot 功能是在 2016 年推出的，2018 年 10 月，該公司曾推出「全自動駕駛」功能。但因被批誇大性能，特斯拉很快移除了這項技術。最近，隨着特斯拉向用戶推銷其輔助駕駛系統 Autopilot 的策略發生轉變，該選項重新出現在了菜單上。

　　在上個月初，特斯拉 CEO 伊隆·馬斯克還曾表示：今年晚些時候，全自動版 Autopilot 將允許特斯拉車主在複雜的城市環境中激活自動駕駛功能。但在看完以上視頻之後，恐怕人們就不太敢打開 Autopilot 功能了，不知特斯拉何時能夠解決這些漏洞。

　　如何欺騙 Autopilot

　　特斯拉汽車的 Autopilot 系統中內置了一個深度神經網絡，用於識別相機圖像中的車道標誌。該神經網絡「看」東西的方式與我們大有不同，即使是創造和訓練它們的人也不能理解其中原因。

　　通常，研究人員會向神經網絡展示大量關於某物（如街道）的圖像來訓練它們，而這些圖像中一般有由人類顯式標記的東西，如車道標誌。網絡通過觀察標記數據集中的圖像，從中檢測出某些相似性，然後逐漸能夠識別車道標誌。但這些相似性具體是什麼，對它來說卻有些抽象。

　　由於車道標誌的實際性質和神經網絡對其認知之間的脫節，即使是準確率很高的神經網絡也會被「對抗」圖像所欺騙，這些對抗圖像被精心構建以利用這種模式識別。

　　上週，來自騰訊科恩實驗室的研究人員展示瞭如何欺騙特斯拉 Model S 中的車道檢測系統，以隱藏人類可見的車道標誌，並創建人類會忽略的標誌。在某些特定情況下，這種做法會導致特斯拉的 Autopilot 在不發出警告的情況下駛入錯誤車道。

　　通常，對抗圖像攻擊（adversarial image attack）是通過直接給神經網絡輸入修改的圖像以數字方式進行的。對神經網絡上進行現實世界的攻擊要難得多，因爲這樣做更難控制網絡看到的東西。

　　但物理對抗攻擊可能也是一個嚴重問題，因爲它們不需要直接訪問正在使用的系統，該系統只要能夠看到對抗模式，就會被破壞。

　　騰訊的測試一開始是直接訪問特斯拉軟件。研究人員向車道檢測系統展示了各種車道標誌的數字圖像，以建立其檢測參數。作爲輸出，該系統指定它在輸入圖像中檢測到的任何車道座標。通過使用「各種優化算法來改變車道及其周圍的區域」，研究人員發現了幾種不同類型的「對抗樣本」，這些樣本與原始圖像相似，但能夠使車道識別功能失靈。

　　本質上，騰訊試圖找到特斯拉車道檢測神經網絡的置信閾值從「非車道」到「車道」或「車道」到「非車道」的點，並利用這個點來生成對抗車道標誌。以下是一些示例：

　　基於以上圖像中的第二個樣本，騰訊用一些顏料在現實世界中再現了這種效果，結果是相同的。

　　車道標誌被打亂到什麼程度才能使 Autopilot 忽略它們，這一點很重要。騰訊研究人員解釋稱：

　　Autopilot 模塊的車道識別功能有良好的魯棒性，如果想通過在現實世界中佈置一些不顯眼的標誌來使行駛中的特斯拉汽車車道識別功能失靈，很難。我們懷疑這是因爲特斯拉在其訓練集中添加了很多不正常的車道，比如破損或者被遮擋的車道，以應對物理世界的複雜性。這導致其自動駕駛系統在正常的外部環境（無強光、雨雪、沙塵暴等幹擾）中表現良好。

　　然而，正是這種穩健性導致 Autopilot 更容易受到相反方向的攻擊：創建對抗標誌，這種標誌能夠觸發 Autopilot 的車道識別系統，但對人類司機來說卻很少或幾乎看不到車道跡象。騰訊的實驗表明，只需在地面上添加三個貼紙就能讓 Autopilot 誤認爲「這是車道」。

　　特斯拉自動駕駛的其它漏洞

　　安全研究人員還發現了特斯拉的其它一些東西，這些東西不算弱點但挺有趣。比如，用圖像觸發雨刷的能力。他們還發現可以用遊戲手柄控制特斯拉汽車的駕駛方向，這一點利用了特斯拉聲稱已經修補好的漏洞。

　　將這個示例放在上下文中是很重要的，因爲它看起來只在特定環境下運作—該演示發生在類似於十字路口的地方（也許是一個無控制的四路交叉口），其中沒有其他車道線供系統遵循。

　　這些貼紙似乎不可能導致汽車穿過完善的中心車道線，但該演示表明在沒有其他車道標誌的情況下，貼紙的確可以導致自動駕駛特斯拉進入反向車道，司機也得不到任何視覺提示，因而無法瞭解即將發生什麼。

　　當然，研究人員希望特斯拉汽車足夠聰明，可以在發現迎面而來的車輛時候不進入反向車道。值得指出的是，爲了使車道標誌檢測系統發揮作用，特斯拉汽車考慮到大量變化，因爲現實生活中的車道標誌具有諸多變化。

　　相信大家在高速公路行駛時都有過這樣的經歷：不同時間畫的幾組標誌（但都以相同的方式褪色）彼此分離，以至於我們的大腦也很難決定走哪條車道。

　　在這種情況下，我們通常會以人類擅長的方式行事—快速吸收大量信息，並藉助環境和畢生的道路知識儘可能做出最好的決定。衆所周知，自動系統在這方面表現非常糟糕，但相較於僅靠觀察車道標誌做出決策，特斯拉 Autopilot 依然有很多方式利用其它數據做出更佳的決策。

　　最簡單的一種方法大概是觀察你前面的車輛如何行使，跟着它們可能是最安全的行車路線，即使它們沒有選擇與你相同的路線。

　　特斯拉的迴應

　　騰訊科恩實驗室這一次測試的是特斯拉 Model S，其軟件版本爲 2018.6.1。騰訊已將研究結果編寫爲白皮書（如感興趣可查閱文末鏈接），對此，特斯拉對於目前發現的三個問題均給出了迴應。

　　關於「雨刷的視覺識別缺陷」：

　　「該研究通過向直接放置在汽車擋風玻璃前的電視展示圖像進行驗證。這不是現實世界中司機會遇到的情況，所以也不是安全問題。此外，我們在車主的『用戶手冊』中寫過：『（雨刷的）自動設置目前仍處在 Beta 測試階段』。用戶也可以隨時選擇手動開啓或關閉雨刷。」

　　關於「車道的視覺識別缺陷」：

　　「在演示中研究人員調整了車輛周圍的物理環境（即在道路上放置了膠帶），使得自動駕駛系統的表現出現了變化。考慮到駕駛員可以隨時接管汽車，控制方向和剎車，其操作權限高於 Autopilot，這不是現實世界中需要擔憂的問題。」

　　關於「遙控器操控車輛行駛」：

　　「在本報告中提到的主要漏洞已被特斯拉在 2017 年安全更新中修復，之後還有 2018 年安全更新，兩個補丁都是在該報告發布前上線的。在多年來特斯拉汽車在路上行駛的經歷中，我們從未見到任何一位用戶被本報告中所提及的任何問題所影響。」

　　不知這樣的回覆是否能夠令你滿意？

　　特斯拉的 Autopilot 一直處在一個尷尬的處境，它似乎同時在告訴消費者「你當然可以信任它」和「你當然不能信任它」。

　　幾乎可以肯定的是，後一種說法更爲準確，車道識別攻擊令人擔憂，司機在車輛已經開始轉向之前纔可能意識到出現了問題，但可怕的是，在某些情形下，車輛自身無法意識到問題出現。

　　儘管這成爲特斯拉 Autopilot 實際問題的可能性還很小，但這項研究向我們提出了一些問題：假如道路上出現了類似模式的隨意白點，會發生什麼呢？還有哪些隱患尚待確認呢？特斯拉已經進行大量的真實駕駛測試，但現實世界太大了，總會有一些可能的情況需要我們做好準備。