試想一下，有人將一張“神奇的貼紙”放置在面部，就可以使人臉識別門禁系統誤認為是你，從而輕而易舉開啟大門；同樣是這張“神奇的貼紙”，把它放置在眼鏡上，就可以1秒解鎖你的手機人臉識別，探取你的隱私如入無人之境。這並非科幻大片的想象，而是首屆人工智慧安全大賽頒獎典禮現場展示的真實攻防場景。

近日，以“共築AI安全 安享智慧未來”為主題的AISC首屆人工智慧安全大賽圓滿落幕。本次大賽由國家工業資訊保安發展研究中心、清華大學人工智慧研究院和北京瑞萊智慧科技有限公司等單位聯合主辦，系首個全國性人工智慧安全賽事，旨在推動人工智慧攻防技術創新、實戰演練、場景挖掘和人才培養。

大賽工作人員演示對抗樣本攻擊人臉識別門禁系統

結合具體賽題來看，自動駕駛安全賽題和人臉識別安全賽題從攻擊視角出發，透過讓選手攻擊目標模型挖掘演算法漏洞，旨在發現更加穩定的攻擊演算法，以更好的實現準確評估模型的安全性。深度偽造安全賽題則透過分析偽造音影片的相似性，來溯源不同偽造內容是否來自同一種或同一類生物特徵生成軟體，以促進對深度偽造檢測技術的發展，具有重要的現實意義。

自七月開啟報名以來，大賽共吸引來自全國範圍內70多所高等高校、科研院所、企業機構的超過400支團隊，共計600餘名選手的踴躍參與。經過三個月的激烈角逐，最終，上海交通大學聯合戰隊“AreYouFake”與北京交通大學戰隊“BJTU-ADaM”分別摘得深度偽造安全與自動駕駛安全賽道桂冠，北京理工大學戰隊“DeepDream”與建信金科戰隊“Tian Quan&LianYi”共同位列人臉識別賽道第一名。

深度偽造安全競賽前三名

人工智慧和其他通用目的技術一樣，在高歌猛進的同時，也帶來了新的風險和隱患。主辦方北京瑞萊智慧科技有限公司執行長田天認為，人工智慧技術風險發生的範圍正隨著應用場景的日趨廣泛而逐步擴大，風險發生的可能性也隨著其應用頻次的增長而持續提高。在他看來，人工智慧當前的安全風險主要可以從“人”與“系統”這兩個視角來剖析。

從人的視角來評估AI的安全問題，首當其衝就是技術的兩面性問題，存在AI濫用甚至“武器化”的問題。具體到人工智慧的應用中來看，最為典型的代表就是深度偽造技術，它的負向應用風險持續加劇且已產生實質危害。

現場的人臉識別破解演示，所揭示的正是系統的風險，它來自於深度學習演算法本身的脆弱性。以深度學習演算法為核心的第二代人工智慧是個“黑盒子”，具有不可解釋性，意味著系統存在結構性的漏洞，可能受到不可預知的風險，典型的就比如現場演示的“神奇貼紙”，其實就是“對抗樣本攻擊”，透過在輸入資料中新增擾動，使得系統作出錯誤判斷。

這一漏洞在自動駕駛感知系統同樣存在，瑞萊智慧演示了用對抗樣本攻擊自動駕駛汽車。正常情況下，在識別到路障、指示牌、行人等目標後，自動駕駛車輛就會立即停車，但在目標物體上新增干擾圖案後，車輛的感知系統就會出錯，徑直撞上去。

在人工智慧的全生命週期，不僅存在演算法層面的安全性問題，算力作為人工智慧發展的重要基礎設施，也面臨著諸多風險，推動人工智慧算力基礎設施安全發展具有重要意義。活動期間，由國家工業資訊保安發展研究中心牽頭，聯合華為技術有限公司和北京瑞萊智慧科技有限公司共同撰寫的《人工智慧算力基礎設施安全發展白皮書》也正式釋出，打造可信、可用、好用的人工智慧算力底座，營造安全、健康、合規發展的人工智慧產業生態。

文/北京青年報記者 溫婧

編輯/樊宏偉