- 產品與解決方案
- 行業解決方案
- 服務
- 支持
- 合作夥伴
- 關於我們
當有人宣稱自動駕駛係統已解放了人們雙手之後，你真的敢來一場說走就走的自動駕駛之旅嗎？2019年，騰訊科恩實驗室曾對某熱門車型所搭載自動駕駛係統（2018年的某個版本）進行安全性測試，發現其在圖像識別方麵，存在被攻擊的安全隱患。實驗中大多數情況下，自動駕駛係統都能正常識別交通標誌、標線，但如果在路麵塗刷不起眼的幹擾信息，車輛則會根據看到的圖像，做出錯誤決策，駛入反向車道，危險性不言而喻。雖然這個實驗僅僅暴露出自動駕駛汽車的安全隱患，但實際上隨著BOB登陆 應用日趨普及，AI的安全問題正逐漸顯露。
AI應用麵臨安全挑戰
當前主流的BOB登陆 應用，多數是基於傳統機器學習或深度學習算法開發的，從開發到生產部署，一般有數據采集、數據預處理、模型訓練、模型的評估驗證、生產部署等幾個環節。
AI應用的各環節及攻擊點
黑客往往會基於上述環節對BOB登陆 應用進行攻擊，如針對數據采集和預處理階段的攻擊、針對AI模型本身、針對模型使用環節的對抗樣本攻擊等等。其中，在對抗樣本攻擊中，通過對輸入樣本進行細微的修改，人眼不易覺察，但卻使AI係統產生錯誤的輸出，在一些關鍵場景中會造成嚴重問題，而針對各種對抗樣本的攻擊，已經有了多種防範方法來降低風險。下文將重點針對AI對抗樣本攻擊與防護的技術展開探討。
解密AI對抗攻擊技術
對抗樣本（Adversarial Examples），即通過對輸入樣本添加一些非隨機性的微小擾動，受幹擾之後的輸入樣本經過AI模型運算，會導致模型以高置信度給出了一個錯誤的輸出結果。如下圖所示，一張原本是熊貓的圖片，在加入了人為設計的微小噪聲擾動後，人眼看上去還是熊貓，但AI模型直接將其識別為長臂猿，且可信度高達99.3%。
對抗樣本
當然，還有另外一種對抗樣本，樣本圖像是人類無法看懂的，但AI模型卻高概率認為是某個類別的事物。如下圖所示，AI模型會識別為0-9的數字。
另類對抗樣本
在對抗樣本攻擊的分類上，如果從技術維度來看，按照對抗樣本的實現方式可分為白盒攻擊和黑盒攻擊兩類。白盒攻擊：攻擊者完全了解被攻擊的AI模型的結構、源碼、訓練數據集等信息，可以實施更加精確的攻擊，難度較低，多用於學術研究。常見的白盒攻擊算法如L-BFGS、FGSM、BIM、ILCM、DeepFool等。黑盒攻擊：攻擊者對AI模型和訓練數據集的信息了解得不多或者完全不了解。但利用對抗樣本具有跨模型、跨數據集遷移的泛化能力，研究被攻擊AI模型的輸入/輸出信息，設計對抗樣本進行攻擊，這種方式的實現難度比較大。
如果從攻擊目標輸出結果的維度來看，則可分為：非針對性攻擊（non-target attack）：讓AI模型輸出結果出錯即可。針對性攻擊（targeted attack）：不僅讓模型輸出結果錯誤，而且還要讓其輸出結果按照攻擊者預定的結果來輸出。
在了解對抗樣本攻擊及分類後，對抗樣本攻擊實際還表現出以下4類特征：
1、不止是深度學習所特有，傳統的一些機器學習算法如SVM（支持向量機）、決策樹等算法，也會存在此問題。
2、針對物理世界的攻擊：前麵提到的對抗樣本圖像，都是在數字世界中進行的，其實有些對抗樣本已可針對物理世界進行攻擊。如利用對抗樣本技術設計體恤衫，表麵印有特殊圖案，穿戴者可躲避AI目標檢測係統，使其無法檢測出人體。
3、音頻和文本識別也存在對抗樣本：如在進行語音識別過程中，如果此時背景音樂是經過精心設計的，那麼就有可能使識別結果錯誤，甚至按照攻擊者的意圖來輸出結果。
語音對抗樣本
在文本處理任務中，也存在類似問題，在文本段落中，增加一些特殊的詞彙或標點，或者在不改變語義情況下調整個別句子，人類不易察覺，但AI模型卻無法按照預期輸出正確的結果。
4、對抗樣本的正麵應用：前麵說了那麼多的對抗樣本的負麵應用，其實合理的使用該技術，也能產生正向的價值。比如日常生活中經常接觸到的驗證碼機製，采用對抗樣本的技術，就可讓黑灰產業的AI驗證碼識別模型的識別率大幅下降。
對抗驗證碼
對抗攻擊的防禦方法
對於對抗樣本進行分析，尤其是圖像樣本，經過放大後還是可以觀察到一些細微的噪聲，導致圖像細節有些變化。因此，很自然的想法就是在圖像輸入到AI模型之前，先進行圖像濾波、去噪的預處理，將圖像進行一定程度的修複還原，起到一定程度的防禦作用。
另外一種思路，就是可以將各種類型的對抗樣本增加到AI模型訓練數據集中，這樣訓練出來的模型，先天就對部分AI對抗樣本具有免疫功能，一定程度上提高係統的魯棒性，但對抗樣本的生成方法層出不窮，難以收集完備的對抗樣本數據集。
還有一些方法是通過修改AI模型的網絡結構，達到抵抗攻擊的目的，感興的趣讀者可以閱讀相關文獻。
AI應用安全的問題，直接關係到AI應用在各行業領域的推廣，對抗樣本攻擊是AI安全的一個重要方向，越來越引起學術界和工業界的重視。目前麵向AI應用的攻擊和防護的研究還處於初級階段。未來，通過廣大科研工作者的努力，相信會厘清對抗攻擊方法的背後機理，最終可以形成一種統一高效的防禦體係，為AI生態保駕護航。
服務
