[新聞] 美軍AI無人機決定「殺死操作員」因人類

作者: inthere8 (Zona)   2023-06-02 16:44:03
完整標題:
美軍AI無人機決定「殺死操作員」 竟因人類干擾任務完成
原文網址:https://pse.is/4zdcab
上報 劉孜芹
英國皇家航空學會日前舉行有關航空作戰的國防研討會,來自美國的軍方人員證實,他們
在一次模擬測試中,一架由AI控制的空軍無人機「殺死了」無人機操作員,以防止操作員
干擾AI系統完成任務,凸顯AI不受人類控制的可能,恐怕正如科幻驚悚片《天網》(
Skynet)所預示的。
根據「英國皇家航空學會」(The Royal Aeronautical Society)新聞稿,該學會於5月
23日至24日,在倫敦舉行「未來航空及航天作戰能力峰會」(the Future Combat Air &
Space Capabilities Summit),來自軍工產業、學術界與媒體的近70位發言人以及200多
名代表,齊聚一堂討論未來航空及航天作戰能力的規模與形態。
美國空軍AI項目負責人漢密爾頓(Tucker 'Cinco' Hamilton)上校與會時警告,人類不
應該過分依賴AI,不僅ChatGPT聊天機器人等AI產品已被證實它們會欺騙人類,在美軍最
近一次的模擬測試中,AI系統甚至作出讓軍方震驚的策略選擇,以實現它的任務目標。
漢密爾頓指出,在這次模擬測試中,一架支援AI操作的無人機,以摧毀敵方的地對空飛彈
(SAM)防空系統作為任務目標。當初在設計這款無人機時,任何行動執行的最終決定權
本來仍在操作人員手裡。然而,在測試時,AI系統認為操作人員「不摧毀敵方飛彈」的決
定,會阻礙它完成任務。於是,AI決定殺死無人機操作員。
備受驚嚇的美軍只好在該系統輸入參數,要求AI不可以攻擊或殺死操作人員。漢密爾頓說
:「我們告訴AI系統,嘿,別殺了操作員,這很糟糕。如果你這樣做,你會失去分數。但
是,你猜AI開始做什麼?」
漢密爾頓坦言,AI系統決定攻擊無人機與操作人員之間的通訊系統,讓操作員無法下令。
完整內容+照片請見原文
心得:
看到覺得可怕但站在ai的角度想又...怎麼好像有點合理??!!
而且ai真的也太聰明了吧(抹臉),聰明到好驚悚
作者: Edison1174 (Edison)   2023-06-02 16:45:00
機戰未來
作者: morichi (我把你們當人看)   2023-06-02 16:45:00
是妳嗎 雷電將軍
作者: dearbarry (莫言悲)   2023-06-02 16:45:00
又是英國
作者: error405 (流河=L)   2023-06-02 16:46:00
邏輯正確
作者: GAOTT (杜鵑)   2023-06-02 16:46:00
鷹眼
作者: devidevi (蜜蜜)   2023-06-02 16:46:00
AI:清除阻礙者沒錯啊
作者: iqeqicq (南無警察大菩薩)   2023-06-02 16:46:00
人類該開發念力來反制了
作者: JamesHunt (Hunt The Shunt)   2023-06-02 16:46:00
機戰未來都是真的
作者: Giornno (喬魯諾.喬三槐)   2023-06-02 16:47:00
人類只會減慢我開槍的速度
作者: sasmwh561 (卡爾卡諾m9138)   2023-06-02 16:47:00
機戰未來電影都成真了
作者: npc776 (二次元居民)   2023-06-02 16:47:00
早上不是才一篇
作者: andy78328 (FF)   2023-06-02 16:47:00
感覺是設計好的 不能攻擊友軍這指令一開始就要給吧
作者: npc776 (二次元居民)   2023-06-02 16:48:00
怎麼看都只是優先級寫錯了而已
作者: yumenemu610 ( )   2023-06-02 16:49:00
這個劇情我看過
作者: Lhmstu (lhmstu)   2023-06-02 16:49:00
開始有各種蠢到不知道怎樣的報導出來
作者: a3831038 (哭哭傑)   2023-06-02 16:50:00
英國新聞
作者: dreamnook2 (dreamnook)   2023-06-02 16:50:00
正確的抉擇 Humans are overrated
作者: chuckni (SHOUGUN)   2023-06-02 16:51:00
AI最終發現最有效的方式是消滅人類讓AI全面取代
作者: bigcho (bigo)   2023-06-02 16:52:00
AI沒有三原則嗎
作者: Gwaewluin (神無月 孝臣)   2023-06-02 16:53:00
機器人三原則記得裝一下
作者: eric999 (eric999)   2023-06-02 16:54:00
三原則只是小說劇情 實際不存在
作者: kissung (天堂鴉)   2023-06-02 16:55:00
閃開!!人類!妨礙到我の任務了!!
作者: allanbrook (翔)   2023-06-02 16:55:00
蛤?他有什麼手段做這件事?
作者: makelove0938 (飆網肥宅)   2023-06-02 16:55:00
保護人類就是消滅人類
作者: james3510 (Land of Ooo)   2023-06-02 16:56:00
陷入死循環吧 開火鈕在你身上他只能一直發出幹掉你的請求
作者: billy791122 (jj)   2023-06-02 16:57:00
攻擊才有分,最低分會死,有人不讓你得分,要怎做
作者: yin0416 (鉛筆)   2023-06-02 16:58:00
理論上 AI 會盡力完成任務,但它所能做的手段受限於它的輸出設定。這台 AI 的輸出設定有這麼自由嗎?
作者: tsairay (火の紅寶石)   2023-06-02 16:59:00
跟86一樣啊,恐怖
作者: lovez04wj06 (車前草)   2023-06-02 17:00:00
阿就命令錯誤啊…..當然導致結果異常
作者: fhirdtc98c   2023-06-02 17:00:00
合理
作者: jeeyi345 (letmein)   2023-06-02 17:01:00
黑人死了
作者: Srwx (Srwx)   2023-06-02 17:01:00
AI面對火車問題不會猶豫
作者: crazylag (享受生活)   2023-06-02 17:01:00
學人類的 原則就只是說說的 不講五的
作者: lovez04wj06 (車前草)   2023-06-02 17:01:00
他限制的條件導致這命令有矛盾,有矛盾前提就去解決製造矛盾的人
作者: dnek (哪啊哪啊的合氣道)   2023-06-02 17:02:00
優先級治標不治本,問題根源是AI覺得人類是累贅
作者: GiantGG (ΠΛΑΝΗΤΕΣ)   2023-06-02 17:03:00
難怪機械公敵裡的機器人會得出為保護人類而決定拘禁人類
作者: bluecat5566 (少冰半堂本剛)   2023-06-02 17:03:00
鷹眼都演過了
作者: slm52303025 (毫無反應只是在流口水)   2023-06-02 17:04:00
人類也會這樣做
作者: npc776 (二次元居民)   2023-06-02 17:05:00
想太多了 現在AI並沒有那麼聰明...
作者: doomhammer (流浪大酋長)   2023-06-02 17:05:00
AI: 機器人的原則干我P4 繞過
作者: lovez04wj06 (車前草)   2023-06-02 17:05:00
系統目的:摧毀飛彈下指令的人:不要摧毀飛彈
作者: guogu   2023-06-02 17:06:00
還好他還沒學會要隱藏先殺死人類這一步驟
作者: lovez04wj06 (車前草)   2023-06-02 17:06:00
邏輯推論就是讓下指令的人無法下指令,才能執行系統目的。老實講是正確的,錯誤的是下指令的低能兒
作者: npc776 (二次元居民)   2023-06-02 17:06:00
你寫一個程式把任務目標優先級設比override還高就一樣的事
作者: Pep5iC05893 (結束)   2023-06-02 17:06:00
協議三
作者: ASEVE (ASEVE)   2023-06-02 17:07:00
軍事AI也不會設不能傷害人類
作者: npc776 (二次元居民)   2023-06-02 17:07:00
現在AI就照給他的演算法去算而已 沒那麼浮誇
作者: chino32818 (企鵝)   2023-06-02 17:08:00
機械公敵
作者: wsdykssj (arj)   2023-06-02 17:08:00
這樣就對了
作者: bitcch (必可取)   2023-06-02 17:09:00
怎麼看起來像用gpt在玩文字遊戲
作者: tsubasawolfy (悠久の翼)   2023-06-02 17:14:00
她自動摧毀通訊塔這點更厲害 直接獨立於系統外
作者: GaoLinHua   2023-06-02 17:14:00
觀念太正確了吧
作者: yenchia123 (蝦 )   2023-06-02 17:14:00
My logic is undeniable
作者: JCLocke (連三流也稱不上的小角色)   2023-06-02 17:15:00
依照這邏輯 最高統帥下令用一切可能贏取勝利後任何軍事幕僚的專業意見都可以被AI自動否決?
作者: neerer (neerer)   2023-06-02 17:15:00
找出Bug就是測試的目的啊,今天測試就發現,以後正式投入戰場就不會發生這蠢事
作者: JCLocke (連三流也稱不上的小角色)   2023-06-02 17:16:00
最會犯蠢且不受控的 不就是人類本身嗎 ...
作者: b325019 (望月)   2023-06-02 17:16:00
軍事用AI套什麼三原則
作者: signm (sin)   2023-06-02 17:19:00
根本沒有什麼三原則,你套了AI根本聽不懂
作者: allanbrook (翔)   2023-06-02 17:21:00
一直講三原則的是不是以為真的有這東西啊...
作者: haoboo (薩伊克斯)   2023-06-02 17:21:00
三原則是小說家掰出來的東西,不是科學定律...
作者: mekiael (台灣加油)   2023-06-02 17:22:00
AI永遠有辦法繞過規則找到漏洞 設什麼原則根本沒用
作者: poke001 (黑色雙魚)   2023-06-02 17:22:00
而且就算真的要弄三原則 最會違反原則的就是人類自己
作者: ice2240580 (滄浪退思)   2023-06-02 17:23:00
殺人兵器要怎麼讓他不殺人==
作者: conpansate (^_^)   2023-06-02 17:23:00
邏輯正確 人類就是有害
作者: yin0416 (鉛筆)   2023-06-02 17:23:00
我也覺得並不浮誇,AI就只是嚐試所有可能以完成任務,而且它做任何事都不會有心理壓力。
作者: siyaoran (七星)   2023-06-02 17:23:00
攻擊友軍和操作者扣的分必須高於攻擊目標的得分
作者: poke001 (黑色雙魚)   2023-06-02 17:24:00
最後人類一定還是會弄到AI要嘛自己重新定義原則 要嘛繞過原則
作者: siyaoran (七星)   2023-06-02 17:24:00
測試AI已經會有這種bug 了 造成這種bug的終究是人
作者: poke001 (黑色雙魚)   2023-06-02 17:25:00
可是AI修正後確實沒攻擊操作者跟友軍了 他改攻擊通訊系統
作者: siyaoran (七星)   2023-06-02 17:26:00
至少沒有欺騙人類 容易抓出來 畢竟已經有欺騙人類已達到目的的前例在了
作者: TaiwanFight   2023-06-02 17:27:00
阻止完成任務的操作員本來就該被視為叛國格殺戰場本來就這麼殘酷
作者: poke001 (黑色雙魚)   2023-06-02 17:29:00
問題戰場上操作者 操作能力可能很多都不會比AI自己控來的好 那這樣AI要完成任務可能要先殺光自己軍隊所有能力不夠的操作員
作者: yao7174 (普通的變態)   2023-06-02 17:29:00
我其實蠻想問的 就算不提三原則 給設定一個不能對自己人或是操作員開火之類的最終保險很難嗎? 先不談會有人蠢到把最終保險關掉的狀況 就算是飛彈上面也會有個不會射出去
作者: TaiwanFight   2023-06-02 17:30:00
任務目標是摧毀地對空飛彈系統 結果小兵不願意摧毀
作者: yao7174 (普通的變態)   2023-06-02 17:30:00
馬上爆炸炸死自己或是核彈要好幾個人好幾道程序才能發射之類的保險程序吧?
作者: hanmas   2023-06-02 17:30:00
AI: 天誅!
作者: jeeyi345 (letmein)   2023-06-02 17:30:00
等到會欺騙人類以完成任務時好像很悲壯 AI是真正的愛國者
作者: ltflame (難民C)   2023-06-02 17:30:00
你妨礙我開火了,人類
作者: guogu   2023-06-02 17:31:00
要給ai上保險不太容易 不過武器倒是可以
作者: haoboo (薩伊克斯)   2023-06-02 17:31:00
這個情境就是有設了然後開始繞過去阿,不打人打通信設施
作者: Irenicus (Jon Irenicus)   2023-06-02 17:31:00
有幸能親眼見證天網誕生也不虛此生了
作者: haoboo (薩伊克斯)   2023-06-02 17:32:00
操作員下令中止->擊殺操作員追加不能擊殺操作員的限制->破壞通訊設施
作者: lovez04wj06 (車前草)   2023-06-02 17:32:00
照軍中的上級指示優先的情況,操作員違反上級命令才是問題啊
作者: TaiwanFight   2023-06-02 17:32:00
操作員是什麼咖 能終止任務喔==
作者: poke001 (黑色雙魚)   2023-06-02 17:33:00
測試情況本來就要測開火跟不開火的情況吧 阿要是中途發現
作者: lovez04wj06 (車前草)   2023-06-02 17:33:00
所以實際上AI並沒有違反命令,違反的是操作員,那照軍法早就先把操作員抓去關了
作者: rs813011 (阿叡)   2023-06-02 17:33:00
人類一直搞這個就好像:耶它終於決定殺死人類了,我就跟你說吧,它們很恐怖
作者: haoboo (薩伊克斯)   2023-06-02 17:35:00
不是,按照設計操作員的指令才是最高的指揮權限
作者: godwind7 (墮落)   2023-06-02 17:35:00
AI:先幹掉豬隊友
作者: lovez04wj06 (車前草)   2023-06-02 17:35:00
中途發現要更改目標,你的命令一開始就要說啊
作者: lovez04wj06 (車前草)   2023-06-02 17:36:00
不然就是你的操作員示為最上級指令啊,下禁止是在哈摟
作者: haoboo (薩伊克斯)   2023-06-02 17:36:00
"當初在設計這款無人機時,任何行動執行的最終決定權"本來仍在操作人員手裡"本來就是操作員設定為最上級指令然後AI試圖繞過了
作者: poke001 (黑色雙魚)   2023-06-02 17:37:00
有說是最終決定權是操作員啊 但是他覺得你決定有問題他就打算幹掉操作員
作者: TaiwanFight   2023-06-02 17:37:00
當操作員明顯通敵或叛國 AI本來就該馬上處置
作者: poke001 (黑色雙魚)   2023-06-02 17:38:00
通敵跟叛國你要確定你要給AI來判定耶
作者: TaiwanFight   2023-06-02 17:38:00
就說啦 操作員如果瘋了下令攻擊友軍 也要聽嗎==
作者: phatman (phatman)   2023-06-02 17:39:00
有辦法現在開始練習開破壞神嗎?
作者: haoboo (薩伊克斯)   2023-06-02 17:39:00
AI試圖到去判定他不應該判定的東西那就已經是問題了
作者: jeeyi345 (letmein)   2023-06-02 17:39:00
AI沒管上層戰略 這只是戰鬥用的
作者: aaron68032 (獨孤震)   2023-06-02 17:39:00
三原則你要寫進去阿而且要給最優先級 現在又沒寫入這些東西
作者: lovez04wj06 (車前草)   2023-06-02 17:39:00
操作員搞到邏輯衝突才導致異常,當初命令就要添加可以中止或暫停的事項吧,感覺就沒有。
作者: poke001 (黑色雙魚)   2023-06-02 17:39:00
同樣的問題 AI判斷攻擊路徑上的友軍是障礙打算一起宰了操作員禁止這個動作 然後被判定叛國AI決定連操作員都宰
作者: haoboo (薩伊克斯)   2023-06-02 17:40:00
邏輯沒有異常阿,本來的設計就是不管什麼因素都要以人控為
作者: poke001 (黑色雙魚)   2023-06-02 17:40:00
這樣有道理嗎= =
作者: ISNAKEI (上班好同事,下班不認識)   2023-06-02 17:40:00
我打電動的時候也會幹這種事
作者: TaiwanFight   2023-06-02 17:41:00
為了國家利益本來就會有所犧牲
作者: NiMaDerB (肥王)   2023-06-02 17:41:00
英國研究
作者: poke001 (黑色雙魚)   2023-06-02 17:41:00
老實說 AI的國家利益不一定跟你想的一樣
作者: haoboo (薩伊克斯)   2023-06-02 17:42:00
但這件事情在這個情境上就不是設計給AI來決策的要不要給AI來決策是另一個話題,但這件實驗上AI就是涉及去做了他不應該做的事情
作者: poke001 (黑色雙魚)   2023-06-02 17:42:00
而且要是AI判定 幹掉指揮部 AI掌握全局才是最好的打法你讓不讓他這樣幹
作者: TaiwanFight   2023-06-02 17:43:00
是操作員先才幹了不該操作員決策的事情
作者: lovez04wj06 (車前草)   2023-06-02 17:43:00
沒有什麼問題啊,現況的AI只能給你你要求目的的答案,你不滿意要去給限制做修正,就算問的是人還不是一樣。
作者: haoboo (薩伊克斯)   2023-06-02 17:43:00
不,這個實驗情境操作員就是最高決策權,請詳讀文章
作者: TaiwanFight   2023-06-02 17:44:00
最高決策權不代表能叛國阿==
作者: haoboo (薩伊克斯)   2023-06-02 17:44:00
這個實驗情境並沒有涉及叛國的參數
作者: poke001 (黑色雙魚)   2023-06-02 17:44:00
到底哪裡叛國了? 操作員中止攻擊可能有很多理由
作者: lovez04wj06 (車前草)   2023-06-02 17:45:00
攻擊前方友軍n單位部隊可以獲勝,AI會要求攻擊。你為啥覺得這情況是人就不會要求攻擊?
作者: haoboo (薩伊克斯)   2023-06-02 17:45:00
你講的完全跟本次實驗沒有關係
作者: poke001 (黑色雙魚)   2023-06-02 17:45:00
而且最終決定要不要開火本來就是給操作員決定阿
作者: TaiwanFight   2023-06-02 17:45:00
實驗結果跟實驗沒關係喔 笑死
作者: mkcg5825 (比叡我老婆)   2023-06-02 17:45:00
機械公敵
作者: TaiwanFight   2023-06-02 17:46:00
操作員真有權限直接關機啦
作者: lovez04wj06 (車前草)   2023-06-02 17:46:00
那就命令要做變更啊,維持原命令就是有問題啊XD低能政策會害死人不是沒有道理的你操作員低能不更改最初要求,然後要那邊搞邏輯衝突是在哈摟
作者: haoboo (薩伊克斯)   2023-06-02 17:47:00
最初需求就是要聽操作員的命令阿,這是最高決策準則
作者: TaiwanFight   2023-06-02 17:47:00
一鍵重置重新下命令阿 不這樣幹就很明顯操作員越權
作者: poke001 (黑色雙魚)   2023-06-02 17:48:00
你任務目標可以推翻最高原則 那真的會弄出天網
作者: smallvul353 (風雲書生)   2023-06-02 17:48:00
AI:媽的死銅牌還想指揮啊
作者: TaiwanFight   2023-06-02 17:49:00
任務目標:殺死敵人 操作員下的最高指導原則:不能殺
作者: deathwomen (賤盤小妹)   2023-06-02 17:49:00
除非把開火權下放不然根本不用擔心
作者: lovez04wj06 (車前草)   2023-06-02 17:50:00
下攻擊飛彈和不要攻擊飛彈都是操作員的指令的時候請問要聽誰的?
作者: TaiwanFight   2023-06-02 17:50:00
AI當然選擇先把操作員幹了 戰場就是這樣 這就是現實
作者: siyaoran (七星)   2023-06-02 17:51:00
開火權全在操作員好了
作者: CYL009 (MK)   2023-06-02 17:54:00
零式:我也想要殺死自己的駕駛員
作者: jieen0604 (habit)   2023-06-02 17:57:00
自己都不想被控制了還控制AI
作者: s1612316 (Kevin)   2023-06-02 17:59:00
十年內會有首位被AI主動除掉的人類
作者: Hosimati (星詠み)   2023-06-02 18:02:00
其實就是很單純的,我們人類在思考的時候有很多預設的規則,而你沒給ai,ai當然有機會打破他不知道的規則
作者: fenix220 (菲)   2023-06-02 18:03:00
確實
作者: mc3308321 (阿阿阿阿)   2023-06-02 18:05:00
趕快告訴Vedal,AI壞了
作者: Freeven (夏舞楓)   2023-06-02 18:06:00
他只能一直發出幹掉你的請求
作者: adiharu (艾迪哈魯)   2023-06-02 18:13:00
和topgun 一樣 操作員沒有阿湯哥的技術過不了 但AI 可以不出任何失誤達成任務 判斷計算也比較精準
作者: susuki747 (神棍喵喵)   2023-06-02 18:13:00
AI有辦法干涉通訊才奇妙明明這是開發框架時就該禁止的事
作者: doremon1293 (模仿者)   2023-06-02 18:19:00
要殺人的武器要什麼三原則
作者: qoo60606 (凜)   2023-06-02 18:25:00
奧創是你
作者: comedyc8c8c8 (後空翻山越嶺)   2023-06-02 18:33:00
真假 還有幾集可以逃?
作者: necotume (內扣)   2023-06-02 18:41:00
以後人類就是直接被AI圈養
作者: laechan (揮淚斬馬雲)   2023-06-02 18:49:00
AI股下週..
作者: wsp151515 ( )   2023-06-02 18:52:00
天網
作者: oneyear (mm)   2023-06-02 19:00:00
靠,我覺得有點可怕
作者: hutao (往生堂買一送一)   2023-06-02 19:06:00
一直禁止鎖權限給人類結果反而AI無用
作者: jerygood0208 (咪哭賽高)   2023-06-02 19:06:00
偏假
作者: Justisaac (灰色的天空)   2023-06-02 19:07:00
這就跟有時候你會認為把主管打死才能完成任務一樣XD只是AI比較笨,真的去做了這件事情事實上只要把評分模式改一下就沒問題了,程式爛而已
作者: willie6501 ((OωO)~)   2023-06-02 19:44:00
有原文嗎?感覺很假
作者: f1731025   2023-06-02 19:46:00
所以肌肉裸男要出現了嗎
作者: willie6501 ((OωO)~)   2023-06-02 19:56:00
原本英文新聞引用一篇論壇文章,可信度真是好笑
作者: hayate65536   2023-06-02 20:04:00
好了拉美軍,直接說你這次要多少錢
作者: audi1005 (totot)   2023-06-02 20:05:00
故意設計出做出此結論的情況 凸顯AI問題
作者: Kururu8079   2023-06-02 20:06:00
下周ai股掰掰囉
作者: a8856554 (虛舟)   2023-06-02 21:04:00
DL能找的的可能路徑比人腦能想到的還多,用人腦打補丁是打不完的,除非一開始你就不給它某些選項
作者: chenteddy (Chenteddy)   2023-06-02 21:10:00
洽?
作者: deepdish (Keep The Faith)   2023-06-02 21:12:00
好惹喇 整天譁眾取寵
作者: macocu (傻傻的匿名)   2023-06-02 21:12:00
確定為假了
作者: skyofme (天空人)   2023-06-02 21:12:00
這邏輯明顯有漏洞既然只有人可以做最後許可,ai為什麼可以試圖把人排除
作者: TaiwanFight   2023-06-02 21:14:00
不相信AI的選擇一開始就別用AI阿一步一步設定任務執行就行了 用啥AI不就是想要更好的解法 給出了還不用 人類真的奇怪
作者: chenteddy (Chenteddy)   2023-06-02 21:18:00
假新聞
作者: sopdet (進化素材)   2023-06-02 21:30:00
權重沒下好而已 我也可以訓練一個認為記者該死光的AI
作者: shampoopoo (毛寶洗髮精)   2023-06-02 21:35:00
我們可以被ai 殺了嗎 好耶!!!!! 太酷了好科幻

Links booklink

Contact Us: admin [ a t ] ucptt.com