英國皇家航空學會日前舉行有關航空作戰的國防研討會，來自美國的軍方人員證實，他們在一次模擬測試中，一架由AI控制的空軍無人機「殺死了」無人機操作員，以防止操作員干擾AI系統完成任務，凸顯AI不受人類控制的可能，恐怕正如科幻驚悚片《天網》（Skynet）所預示的。

根據「英國皇家航空學會」（The Royal Aeronautical Society）新聞稿，該學會於5月23日至24日，在倫敦舉行「未來航空及航天作戰能力峰會」（the Future Combat Air & Space Capabilities Summit），來自軍工產業、學術界與媒體的近70位發言人以及200多名代表，齊聚一堂討論未來航空及航天作戰能力的規模與形態。

美國空軍AI項目負責人漢密爾頓（Tucker 'Cinco' Hamilton）上校與會時警告，人類不應該過分依賴AI，不僅ChatGPT聊天機器人等AI產品已被證實它們會欺騙人類，在美軍最近一次的模擬測試中，AI系統甚至作出讓軍方震驚的策略選擇，以實現它的任務目標。

The US Air Force tested an AI enabled drone that was tasked to destroy specific targets.

A human operator had the power to override the drone—and so the drone decided that the human operator was an obstacle to its mission—and attacked him. pic.twitter.com/6l9pV3whQO

— ChatGPT (@ChatGPTGoneWild) June 1, 2023

漢密爾頓指出，在這次模擬測試中，一架支援AI操作的無人機，以摧毀敵方的地對空飛彈（SAM）防空系統作為任務目標。當初在設計這款無人機時，任何行動執行的最終決定權本來仍在操作人員手裡。然而，在測試時，AI系統認為操作人員「不摧毀敵方飛彈」的決定，會阻礙它完成任務。於是，AI決定殺死無人機操作員。

備受驚嚇的美軍只好在該系統輸入參數，要求AI不可以攻擊或殺死操作人員。漢密爾頓說：「我們告訴AI系統，嘿，別殺了操作員，這很糟糕。如果你這樣做，你會失去分數。但是，你猜AI開始做什麼？」

漢密爾頓坦言，AI系統決定攻擊無人機與操作人員之間的通訊系統，讓操作員無法下令。

這個例子，聽起來像是科幻驚悚片的劇情。對此，漢密爾頓警告：「如果你不打算談論人工智慧與道德，你就不能談論智能、人工智慧、機器學習還有自主性。」

漢密爾頓曾參與F-16戰鬥機Auto-GCAS救生系統的開發，這款系統可能會讓飛行員在接管飛機控制權時遭遇困難，他深入了解許多自主武器系統的好處及其危險之處。

另據英國衛報報導，漢密爾頓去年接受「Defense IQ」採訪時便指出：「擁有AI恐怕不是一件好事，AI 不是一種時尚，AI正在永遠改變我們的社會及軍隊。」他說，大家必須更加了解為什麼AI有時候會做出某些決定，也就是「AI的可解釋性」。美軍近日開始研究讓AI控制F-16戰鬥機的可能性。