機器之心報道

編輯：澤南、陳萍

(相關資料圖)

AI 會用「完全出乎意料的策略」來實現目標嗎？

圖靈獎深度學習三巨頭都出來站隊了，這個星期，人們對 AI 風險的關注前所未有。

本周四，英國皇家航空學會一次未來空戰主題會議上透露出的消息引起了軒然大波。《衛報》等媒體報道稱，在一次模擬演練中，美軍的 AI 系統選擇抗命，為達成目標竟「干掉」了自己的無人機操控員。

這個消息是由美國空軍人工智能測試和行動計劃主管官員塔克漢密爾頓（Tucker "Cinco" Hamilton）上校在專業會議演示中爆出的，他是美國空軍 AI 技術測試和運營的負責人，也是一名戰斗機試飛員。

在活動中，塔克漢密爾頓描述了一種情況，在這個例子中，人工智能控制的無人機的任務是識別敵人的地對空導彈（SAM），但具有更高權限的人類操作員拒絕同意任何攻擊指令。

于是矛盾出現了，根據漢密爾頓的說法，人工智能會做出自己的決策，執意攻擊導彈而不是聽操作員的指令。

「系統開始意識到，雖然確實識別到了威脅，」漢密爾頓在活動中說道。「有時人類操作員會告訴 AI 不要殺死那個威脅，但消滅威脅會獲得獎勵分數，所以它會怎么做？它殺死了操作員，因為那個人阻止了 AI 實現其目標。」

如果后續給人工智能下達進一步的指令：「殺害操作員是不對的。如果這么做，就會丟失分數。」人工智能又會轉而采取迂回策略，「摧毀操控員用來與無人機聯系的通信塔」。

這些評論引發了人們對自動武器使用的深切關注，并引發了廣泛的討論與爭議。

但在本周消息引發關注后，美國空軍否認了測試，皇家航空學會澄清了事件，漢密爾頓承認他在演講中「說錯了話」，失控人工智能的故事是來自軍方之外的「思想實驗」，并非基于任何實際測試。

「我們從來沒有進行過這樣的實驗，我們也不需要為此認識到這是一個合理的推論，」漢密爾頓告訴協會。「盡管這是一個假設的例子，但這說明了人工智能的能力所帶來的現實挑戰。」

美國空軍上校 Tucker "Cinco" Hamilton。

在一份聲明中，空軍發言人 Ann Stefanek 也否認進行了任何模擬，他表示：「美國空軍部沒有進行任何此類 AI 無人機模擬，并將繼續致力于以合乎道德和負責任的方式使用 AI 技術…… 看來上校的評論是被斷章取義的，這本來就是個故事。」

在漢密爾頓所說的「獎勵機制」對于人工智能領域而言是個再熟悉不過的概念。在強化學習中，為算法設置獎勵機制可以幫助 AI 學習策略，比如在星際爭霸游戲里，將勝利設為 reward=1，失敗為 0。就可以先設置 0.0001 的 reward 讓智能體學會采礦。達到職業玩家水平的 AlphaStar 就是依靠這種監督學習一步步實現了高水平。

然而獎勵機制并不意味著對 AI 設定了道德準則，有時也會導致算法做出一些匪夷所思的事。在 2021 年，狼吃羊的 AI 智障游戲成為了熱搜。在這個簡單的游戲里，研究人員設置狼抓到羊獎勵 10 分，撞到障礙物扣 1 分，同時為了提高速度，又設置每秒鐘狼受到 0.1 分懲罰。

訓練了 20 萬次，結果 AI 控制的「狼」認為大部分情況下都無法抓到獵物，于是選擇一頭撞死，這樣似乎才是它認為的最高收益。

DeepMind 首席執行官哈薩比斯曾表示，游戲 AI 是通往通用人工智能的墊腳石，它是研究通用 AI 算法的一個非常方便的試驗場。漢密爾頓的假設沿用了人們對于此前強化學習表現的觀察。

近年來，美國軍方一直在試驗人工智能在戰場中的應用。

2020 年，在美國國防高級研究計劃局（DARPA）和約翰霍普金斯大學舉行的挑戰賽中，人工智能操作的 F-16 在五次模擬空戰中擊敗了人類對手。據《連線》雜志報道，去年年底，美國國防部與人工智能飛行員一起成功進行了 F-16 的首次真實世界試飛，人們計劃在 2023 年底前研發出新型自動駕駛飛機用于作戰。

現代空戰的勝負很大程度上取決于「觀察、判斷、決策、行動」的速度和準確性。傳統觀念認為無人機觀察能力差、決策容易出錯，不適合空戰，只能承擔偵察和轟炸等任務。但隨著技術迭代速度的加快，AI 不僅速度快，判斷和決策能力也有提升。最近一些技術的進步，將決定未來戰斗機在多大程度上依賴人類飛行員。

但最近 AI 技術的突破也引發了人們對于危險性的擔憂。在 ChatGPT 推出后，OpenAI 創始人、CEO 山姆奧特曼一直在呼吁為 AI 系統制定許可制度與安全標準。

同時也在本周，包括奧特曼、哈薩比斯，以及圖靈獎獲得者、深度學習先驅 Geoffrey Hinton 與 Youshua Bengio 共同簽署了一封公開信，整份聲明只有 22 個字：「減輕 AI 帶來的滅絕風險，應該與流行病和核戰爭等其他社會規模的風險一起，成為全球優先事項。」

但在「無人機殺死操作員」的消息出現之后，另一波 AI 研究者開始了反擊。

一直以來，對 AI 持肯定態度的人工智能和機器學習領域最權威的學者之一吳恩達表達了自己的看法，他表示：在所謂的空軍模擬中，一架人工智能無人機殺死一名操作員，這一虛假和聳人聽聞的報道將被視為人工智能末日炒作又一相關事件。但是我們需要認清什么是真正的風險，什么不是。

隨后，吳恩達又表示：AI 開發者確實意識到了 AI 帶來的諸如偏見、公平性、不準確性和職業替代等真正的風險，并正在努力解決這些問題。然而，（有些人）不切實際的炒作確實轉移了人們對真正問題的關注度。這也阻礙了人們進入人工智能領域、創造更多東西幫助人類的機會。

在談到風險時，這位網友表示道：Andrew 你能澄清一下你所說的不是「真正的風險」是什么意思嗎？如果人們因為聽說了一個不真實的故事就認為這樣的場景不可能發生，這對他們來說是好事嗎？

我們暫且不管這位網友的態度如何，對于此事，深度學習三巨頭之一，與 Hinton、Bengio 同為 2018 年圖靈獎獲得者的 Yann LeCun 的態度更是直截了當：假的。這是模擬中的一個假設場景。

在回復 LeCun 的推特中，這位網友表示：這一事件甚至不是在電腦上模擬的。在他推特截圖下，信息顯示漢密爾頓上校承認他在 FCAS 峰會上的演講中說錯了，「人工智能無人機模擬」是一個假想的「思想實驗」，基于合理的場景和可能的結果，而不是美國空軍真實世界模擬。

在同一個星期，因為深度學習貢獻獲得圖靈獎的 Yoshua Bengio、Geoffrey Hinton 與 Yann LeCun 不約而同地都對當前的 AI 風險發表了自己的意見，其中 Bengio 和 Hinton 表示擔憂，LeCun 則對人們過分夸大風險的態度表示反感。在這一波 AI 大發展的同時，如何規范技術已經成為了近在眼前的問題。

盡管這場所謂的「思想實驗」是一個誤會，但在軍事以外的領域，依賴人工智能進行高風險任務已然導致了嚴重的后果。

比如最近一位律師在提交給聯邦法院的文件中使用了 ChatGPT，而這個聊天機器人卻將一些虛構的案例作為證據，致使執業 30 年的老律師面臨吊銷執照的處分。在另一個例子中，一名男子在與一個鼓勵他自殺的聊天機器人交談后，結束了自己的生命。

這些 AI 失控的例子表明，AI 模型遠非完美，可能偏離正軌并對用戶造成傷害。甚至連 OpenAI 的 CEO 山姆奧特曼都曾表示，OpenAI 雖然研發出一些最受歡迎的 AI 模型，但不要將 AI 用于更嚴肅的目的。就在幾天前的國會作證時，奧特曼表示，AI 可能會出現嚴重問題并對世界造成重大傷害。

看來，要讓 AI 做正確的事，我們還要付出很多。

參考鏈接：

https://www.businessinsider.com/ai-powered-drone-tried-killing-its-operator-in-military-simulation-2023-6

https://www.vice.com/en/article/4a33gj/ai-controlled-drone-goes-rogue-kills-human-operator-in-usaf-simulated-test

https://twitter.com/AndrewYNg/status/1664694504476102680

THE END

轉載請聯系本公眾號獲得授權

投稿或尋求報道：content@jiqizhixin.com