安全資訊

AI造假怎么防？全國政協(xié)委員吳世忠：安全技術(shù)手段要跟上?。ㄔ瓨祟}）

今年是吳世忠擔任全國政協(xié)委員的第6年。他是網(wǎng)絡(luò )與信息安全領(lǐng)域的專(zhuān)家。履職政協(xié)委員之初，吳世忠給自己提了一個(gè)要求，“把復雜的信息安全問(wèn)題說(shuō)得更準確些”。多年后再談及此，已是新當選的中國工程院院士吳世忠坦言：“這幾年的努力還遠遠不夠”。

一個(gè)現實(shí)挑戰是，隨著(zhù)技術(shù)的迅猛發(fā)展和網(wǎng)絡(luò )空間的不斷演進(jìn)，信息安全問(wèn)題變得越來(lái)越復雜。以人工智能為例，一年多前，聊天機器人ChatGPT橫空出世，迅速在全球掀起一場(chǎng)AI風(fēng)暴。今年開(kāi)春，文生視頻模型Sora重磅來(lái)襲，用一段足夠以假亂真的AI生成動(dòng)畫(huà)，再次給行業(yè)帶來(lái)了顛覆性的沖擊。

與此同時(shí)，技術(shù)發(fā)展軌跡的不可掌控性和潛在風(fēng)險的不確定性，也讓全球警惕AI風(fēng)險的呼聲比以往更強烈?！安荒苡行Ч芸仫L(fēng)險，發(fā)展就難以持續；沒(méi)有足夠的安全保障，后果將不堪設想?！苯谠谝黄接?024年網(wǎng)絡(luò )與信息安全風(fēng)險前瞻的署名文章中，吳世忠敏銳地指出，2024 年人工智能安全治理會(huì )成為大國角力的主要方向，人工智能熱門(mén)應用領(lǐng)域或將出現“灰犀?！卑踩录?，潛在風(fēng)險不容忽視。

今年全國兩會(huì )，吳世忠將圍繞人工智能安全和數據安全治理問(wèn)題建言發(fā)聲。為準備提案，吳世忠先后赴北京、上海、深圳等地調研了解國內AI技術(shù)與產(chǎn)業(yè)發(fā)展情況，還持續跟蹤國際科技前沿和網(wǎng)絡(luò )空間治理戰略和政策，并積極與相關(guān)專(zhuān)家和學(xué)者們交流研討，“力求將問(wèn)題研究透徹，確保提案能說(shuō)準、說(shuō)對”。

近日，圍繞委員履職、大模型安全、AI換臉等信息安全領(lǐng)域的熱點(diǎn)話(huà)題，全國政協(xié)委員、中國工程院院士吳世忠接受了記者專(zhuān)訪(fǎng)。

呼吁加強AI倫理研究、辯證看待發(fā)展與安全關(guān)系

談履職

Q    您是連任兩屆的全國政協(xié)委員，哪些問(wèn)題是您尤其關(guān)注并持續推動(dòng)的？

吳世忠：我長(cháng)期關(guān)注的是新技術(shù)的發(fā)展、安全與治理問(wèn)題，這是信息化時(shí)代各國面臨的共性問(wèn)題。在兩屆政協(xié)的履職中，我分別就加強網(wǎng)絡(luò )與安全信息安全保障，科學(xué)利用三年疫情產(chǎn)生的大數據，加強信息共享和聯(lián)防聯(lián)控有效打擊網(wǎng)絡(luò )詐騙，在國際競爭環(huán)境下加強人工智能標準和倫理研究等建言發(fā)聲，持續推動(dòng)相關(guān)部門(mén)在科技發(fā)展和信息化的建設中更好地處理發(fā)展與安全的辯證關(guān)系，應該說(shuō)起到了一定建言資政作用。今后，我還會(huì )一直關(guān)注并持續推動(dòng)與此相關(guān)的問(wèn)題，以更好地盡到一位政協(xié)委員的職責。

Q    2018年全國兩會(huì )期間，您在接受專(zhuān)訪(fǎng)時(shí)提到，希望“把復雜的信息安全問(wèn)題說(shuō)得更準確些”。這個(gè)履職要求，做到了嗎？

吳世忠：這個(gè)問(wèn)題提得既直接又尖銳，真不太好回答。隨著(zhù)信息通信技術(shù)的迅猛發(fā)展和網(wǎng)絡(luò )空間的不斷演進(jìn)，信息安全問(wèn)題變得越來(lái)越復雜。從個(gè)人隱私到商業(yè)利益，從社會(huì )問(wèn)題到國家安全，從軍事沖突到國際關(guān)系，從社會(huì )輿情到全球治理，信息安全問(wèn)題幾乎無(wú)處不在，而且千事千面、見(jiàn)仁見(jiàn)智，再結合不同場(chǎng)景、對象和上下文，相關(guān)信息安全問(wèn)題的內涵和外延也相去甚遠，因此要說(shuō)清楚、講準確，也越來(lái)越難。從這個(gè)意義上講，我這幾年的努力還遠遠不夠。

Q     如何應對日益復雜的信息安全難題？您長(cháng)期從事網(wǎng)絡(luò )與信息安全領(lǐng)域的技術(shù)研究工作，有何經(jīng)驗和心得分享？

吳世忠：首先，我認為發(fā)展是重要的安全考慮。

信息安全問(wèn)題與技術(shù)發(fā)展相伴而行，沒(méi)有發(fā)展之需，也就難有安全之慮。我國幾十年來(lái)網(wǎng)信事業(yè)的蓬勃發(fā)展，以及近年來(lái)中美競合的科技角力，也生動(dòng)具體地說(shuō)明了一點(diǎn)——那就是不發(fā)展是最大的不安全。

其次，韌性是關(guān)鍵的安全能力。現在我們已經(jīng)走過(guò)信息化的孩提時(shí)代，安全保障體系已經(jīng)從保姆式的全面看護發(fā)展到自主式的自然應對。我們不再為一個(gè)技術(shù)漏洞而產(chǎn)生像“千年蟲(chóng)”那樣的安全焦慮，也不會(huì )因一兩次常規攻擊導致大規模斷網(wǎng)災難。隨著(zhù)網(wǎng)絡(luò )空間法規、管理、技術(shù)手段和倫理等不斷增強，信息安全的整體生態(tài)在日益豐富，韌性或彈性日益成為網(wǎng)絡(luò )信息安全保障體系的關(guān)鍵要素。

第三點(diǎn)，成本和效益是務(wù)實(shí)的安全指標。要準確地認識信息安全問(wèn)題，需要做到對安全風(fēng)險既不高估，也不低估。近年來(lái)，我國在網(wǎng)絡(luò )信息安全上的投入逐年增加，在管控、應對網(wǎng)絡(luò )信息安全風(fēng)險上更加務(wù)實(shí)。這種風(fēng)險管理思想和成本效益考慮，是我們應對網(wǎng)絡(luò )信息安全問(wèn)題的主流方向。我認為，加強成本與效益分析，采取激勵機制與政策，增強風(fēng)險管理的意識，并且將最佳實(shí)踐、攻防演練、外部性因素等納入網(wǎng)絡(luò )安全治理的策略考慮中，應當是我們在提升信息安全治理能力的重大進(jìn)步。

要防止大模型淪為作惡工具

談AI安全焦慮

Q自ChatGPT問(wèn)世的一年多以來(lái)，眾多大模型相繼推出，并在多個(gè)行業(yè)落地應用。大模型落地應用主要面臨哪些安全風(fēng)險？

吳世忠：幾個(gè)月前，圖靈獎得主杰弗里·辛頓從谷歌辭職，OpenAI公司出現“宮斗”，眾多有識之士公開(kāi)表示安全擔憂(yōu)，國際社會(huì )密集研討AI治理……ChatGPT問(wèn)世一年就引發(fā)如此大的安全焦慮，這在科技發(fā)展史上是空前的。對人工智能的快速發(fā)展，人們既有近憂(yōu)也有遠慮。就近憂(yōu)看，大模型落地應用主要面臨這些安全風(fēng)險，包括生成不當內容、產(chǎn)生隱私問(wèn)題、產(chǎn)生歧義或偏見(jiàn)、引發(fā)技術(shù)攻擊、難免知識滯后等。以技術(shù)攻擊為例，一些惡意用戶(hù)可能通過(guò)技術(shù)手段對大模型進(jìn)行網(wǎng)絡(luò )攻擊。比如污染訓練數據（數據投毒），輸入精心設計的樣本，使大模型產(chǎn)生錯誤的輸出等，破壞大模型的可靠性。

在知識層面上，因為大語(yǔ)言模型的訓練是對已有知識的學(xué)習，對截止時(shí)間之后的新知識、新發(fā)展還不具備與時(shí)俱進(jìn)的推導能力，這可能導致對新情況的了解不足，對新問(wèn)題表現出力不從心。

Q還有報道顯示，惡意大語(yǔ)言模型已成為暗網(wǎng)最暢銷(xiāo)的黑客工具，被一些網(wǎng)絡(luò )犯罪分子濫用進(jìn)行大規模攻擊。怎么看待這類(lèi)現象？

吳世忠：對此類(lèi)情況，我還真不太了解。不過(guò)單從技術(shù)上分析，網(wǎng)絡(luò )犯罪與惡意使用或濫用大模型的可能性是客觀(guān)存在的。人工智能可以看成是信息化進(jìn)程的新階段，傳統的網(wǎng)絡(luò )安全攻擊方法大多數都會(huì )在AI中實(shí)現。就大語(yǔ)言模型而言，攻擊方式就可能有：數據投毒、提示注入、誤導輸出、模型阻塞等新興方法，還可能有供應鏈漏洞，不安全組件，逆向分析，后門(mén)攻擊等常規方式。

人是安全問(wèn)題中最為復雜的因素，如何防止大模型淪為犯罪分子的作惡工具，是AI安全的重大課題。

Q    從已有的研究看，人們對AI的安全遠慮是什么？

吳世忠：一是技術(shù)發(fā)展失速。回望歷史我們知道，AI走過(guò)了近60年的孩提時(shí)期，直到互聯(lián)網(wǎng)興起，大數據出現和神經(jīng)網(wǎng)絡(luò )、機器學(xué)習的突破才步入目前的弱AI時(shí)期。雖尚值年少，但聰慧驚人，大有向通用AI邁進(jìn)之勢。國際社會(huì )相繼發(fā)出“暫停訓練”加強約束之呼吁，表達的就是對AI技術(shù)發(fā)展太快、監管力所不及的深度憂(yōu)慮。

二是軍備競賽失控。AI技術(shù)備受軍事青睞，從認知戰到情報戰，從無(wú)人機到衛星網(wǎng)，AI技術(shù)已經(jīng)打開(kāi)智能時(shí)代新軍備競賽的“潘多拉盒子”，大國角力日趨激烈，軍控談判需求緊迫，AI向善或是向惡成為國際治理重大議題。

三是倫理道德失范。AI成長(cháng)期短，還是懵懂少年，不像人類(lèi)有數千年的歷史積淀，倫理規范和道德約束的缺乏是AI帶給人類(lèi)的普遍擔憂(yōu)。技術(shù)邏輯與人文素養相差很遠，AI倫理目前仍處密集交流和商討階段，要在技術(shù)上實(shí)現、應用上落實(shí)，還有很長(cháng)的路要走。

此外，AI技術(shù)和應用都高度依賴(lài)大數據，無(wú)論是AI使用大數據訓練，還是利用AI分析大數據都難以避免地產(chǎn)生數據泄露和信息保密問(wèn)題。同時(shí)，AI應用可能對社會(huì )生活造成深遠的影響，包括就業(yè)市場(chǎng)、新聞宣傳、政治決策等，因此有必要負責任地使用和監督AI技術(shù)。

在人工智能技術(shù)發(fā)展高歌猛進(jìn)的當下，這些安全憂(yōu)慮更多的是潛在隱患。相對于近十年來(lái)人工智能技術(shù)的蓬勃發(fā)展，安全方面的研究略顯滯后——這也符合科技發(fā)展的既有規律，創(chuàng )新發(fā)展在前，安全治理在后。

所以我們一定要全面、辯證地看待AI的安全問(wèn)題。有人曾就AI與人類(lèi)關(guān)系問(wèn)題提問(wèn)過(guò)ChatGPT，它的回答是“AI不會(huì )讓人類(lèi)變得多余，只會(huì )使人類(lèi)變得更有價(jià)值”。我想這對我們從發(fā)展的觀(guān)點(diǎn)理解和認識安全問(wèn)題，應該有借鑒意義。

透明度、公平正義是全球AI治理高頻詞

談AI治理

Q    從AI冒充拜登給選民打電話(huà)，到AI生成知名歌手泰勒·斯威夫特的“不雅照”，再到香港警方披露一起涉案2億的AI“多人換臉”詐騙……近期AI造假事件屢次出現，引發(fā)了諸多擔憂(yōu)。從技術(shù)的角度分析，AI換臉或擬聲詐騙技術(shù)含量高嗎？

吳世忠：從技術(shù)上看，AI換臉、擬聲詐騙這類(lèi)騙術(shù)的水平還是較高的，主要是因為它可能惡意使用了多種新興人工智能技術(shù)。

一是大數據技術(shù)，大規模的高質(zhì)量數據集是這些騙術(shù)成功的關(guān)鍵，數據越多，越真實(shí)，模型學(xué)到的特征和細節就越豐富，生成的結果就越生動(dòng)、逼真。

二是深度學(xué)習和生成模型技術(shù)，這可以讓生成的換臉和擬聲內容更加逼真和自然。

三是遷移學(xué)習技術(shù)，它允許模型將一個(gè)領(lǐng)域學(xué)到的知識遷移到另一個(gè)領(lǐng)域，這也有助于提高換臉和擬聲模型的性能，使其運用更多的場(chǎng)景和人物，更具欺騙性。

最后，AI造假還可能涉及語(yǔ)言和圖像處理技術(shù)，借此可以對包括面部表情、語(yǔ)言音調、發(fā)音特征，特別是方言等多方面進(jìn)行細微處理，生成更加真實(shí)的效果，達到以假亂真的目的。

Q     以前我們說(shuō)“無(wú)圖無(wú)真相”，但現在借助AI技術(shù)，甚至能生成以假亂真的視頻，讓“眼見(jiàn)不再為實(shí)”。如何應對AI深度造假問(wèn)題？

吳世忠：我建議從技術(shù)、法規和倫理約束以及安全意識培養等方面，采取綜合防范措施。其中尤為重要的是技術(shù)——人工智能技術(shù)十年來(lái)發(fā)展迅猛，但相應的安全技術(shù)研發(fā)相對滯后，在風(fēng)險隱患日益凸顯的今天，發(fā)展安全技術(shù)手段是當務(wù)之急。

為防范AI深度造假，可采取的技術(shù)手段包括使用圖像和音頻分析工具，檢測深度造假，識別圖像或者音頻的偽造痕跡，也可在數字內容中嵌入水印或隱寫(xiě)記號，以便追溯圖像或音頻來(lái)源并作真實(shí)性比對，還可運用區塊鏈技術(shù)等確保信息的不可篡改和透明性，從而提高圖像或音頻的可信度等。

法規、倫理方面，則可制定相關(guān)法律法規和監管措施，對違規或惡意使用AI造假的行為進(jìn)行處罰和打擊。要求AI開(kāi)發(fā)者提高模型的透明度和可解釋性，確保用戶(hù)能夠理解模型的決策過(guò)程，減少潛在的濫用風(fēng)險。同時(shí)，制定和倡導AI倫理規范，引導AI技術(shù)的開(kāi)發(fā)應用，明確禁止濫用和偽造信息等。

具體到安全意識的培養，建議加強民眾對AI造假可能性的認知，提高對虛假信息的辨別能力，促進(jìn)官產(chǎn)學(xué)研多方合作，加強持續監測研究，適應不斷進(jìn)步的技術(shù)和不斷演進(jìn)的威脅，共同應對AI深度造假的挑戰。

Q    當前主要國家均在探索人工智能治理方案，中國也將制定“人工智能法”列入國務(wù)院的立法計劃。您認為，構筑人工智能安全護欄的應有之義是什么？

吳世忠：世界主要國家確實(shí)都在積極探索AI治理方案。截至去年底，至少已有60多個(gè)國家制定或發(fā)布了與AI有關(guān)的政策文件，我國也先后提出了多項與AI相關(guān)的國家政策和倡議。

我們對全球活躍的50項AI倡議作了初步分析，發(fā)現前十個(gè)高頻詞匯是，“透明度、公平正義、非惡意、責任與問(wèn)責、隱私、向善、信任、尊嚴、團結和可持續”，這一定意義上反映出了人類(lèi)對AI治理目標的共識。

我認為在構筑AI護欄時(shí)，同樣要反映這些共同訴求——從專(zhuān)業(yè)的角度講，其應有之義和重點(diǎn)可能包括：保護個(gè)人隱私和信息保密、維護社會(huì )秩序和公平正義、有利文化傳承和道德倫理、維護國家主權和安全利益。

網(wǎng)絡(luò )與信息安全是業(yè)務(wù)創(chuàng )新發(fā)展的重要支撐

談新質(zhì)生產(chǎn)力

Q    去年12月舉行的中央經(jīng)濟工作會(huì )議提出，加快發(fā)展新質(zhì)生產(chǎn)力。結合你的專(zhuān)業(yè)背景，如何理解“新質(zhì)生產(chǎn)力”？

吳世忠：新質(zhì)生產(chǎn)力是創(chuàng )新起主導作用，擺脫傳統經(jīng)濟增長(cháng)方式、生產(chǎn)力發(fā)展路徑，具有高科技、高效能、高質(zhì)量特征，符合新發(fā)展理念的先進(jìn)優(yōu)質(zhì)生產(chǎn)力。

就網(wǎng)絡(luò )信息安全領(lǐng)域而言，數字化轉型、創(chuàng )新驅動(dòng)和智能化生產(chǎn)是其最主要的三大特點(diǎn)。顯而易見(jiàn)，這三大特點(diǎn)都與網(wǎng)絡(luò )與信息安全息息相關(guān)且緊密相連，所以我理解新質(zhì)生產(chǎn)力，應該是高質(zhì)量發(fā)展和高水平安全高度融合的新型生產(chǎn)力。

Q面對全新的生產(chǎn)力變革，網(wǎng)絡(luò )與信息安全行業(yè)可以發(fā)揮怎樣的作用？

吳世忠：在全新的新質(zhì)生產(chǎn)力變革中，我認為網(wǎng)絡(luò )與信息安全理應發(fā)揮至關(guān)重要的作用，主要體現為以下四點(diǎn)：

一是為數據和隱私提供安全保護。隨著(zhù)生產(chǎn)過(guò)程數字化和設備互聯(lián)，大量敏感信息通過(guò)網(wǎng)絡(luò )傳輸，網(wǎng)絡(luò )與信息安全確保數據在傳輸、存儲和處理應用過(guò)程中，得到充分保護。

二是為智能生產(chǎn)提供安全保障。在新質(zhì)生產(chǎn)力變革中，智能制造得到廣泛應用，網(wǎng)絡(luò )與信息安全在工業(yè)互聯(lián)網(wǎng)、工業(yè)云領(lǐng)域發(fā)揮重要作用。能防范網(wǎng)絡(luò )攻擊，確保重要設備的安全運行。

三是為業(yè)務(wù)創(chuàng )新提供安全保證。新質(zhì)生產(chǎn)力的大量創(chuàng )新必依賴(lài)網(wǎng)絡(luò )業(yè)務(wù)和網(wǎng)絡(luò )應用。網(wǎng)絡(luò )與信息安全措施有助于防范網(wǎng)絡(luò )攻擊、惡意軟件和其他威脅，從而確保企業(yè)的業(yè)務(wù)持續性，為業(yè)務(wù)創(chuàng )新提供穩定的環(huán)境和條件

四是為人工智能提供安全服務(wù)。新質(zhì)生產(chǎn)力變革涉及到人工智能和大數據的廣泛應用。網(wǎng)絡(luò )與信息安全在防范惡意使用人工智能，防止算法攻擊，確保數據安全等方面扮演著(zhù)重要角色?？梢哉f(shuō)，在新質(zhì)生產(chǎn)力變革中，網(wǎng)絡(luò )與信息安全不僅僅是一項技術(shù)，它更是保障整體業(yè)務(wù)創(chuàng )新發(fā)展的重要支撐。

（來(lái)源：南方都市報）