※ 引述《jimmy5680 (還想飛的企鵝)》之銘言：
: https://twitter.com/ArmandDoma/status/1664331870564147200
: https://tinyurl.com/mr2mynn8
: 根據一場研討會的討論內容
: 美國空軍曾在模擬器裡面開發一款操作無人機的人工智慧
: 但是最終決定權仍在操作員手裡
: 結果模擬測試時，
: AI判斷人類的決策會干擾自己執行首要目標(摧毀目標的防空系統)
: 因此AI決定要攻擊操作員
: 美軍輸入參數要求AI不可以攻擊操作員之後
: AI的決定是改成攻擊通訊系統，讓操作員無法下令
: ======
: 不知道這算天網還是奧創，只能說科幻電影都是真的
: 網友：https://pbs.twimg.com/media/Fxj-SA1WcAYlc95.jpg
現在的AI都是用類神經網路、多代理人策略、搭配世代演化來生成的
而在模擬演化過程裡，我們怎麼設定並篩選『哪一隻AI應該活到下一個iteration』呢？
如果是特定戰鬥平台的戰術用AI，可以想像評判標準就是建立在殺敵經濟效率上的，
『如何善用每一個作戰單位的經濟價值達到最高交換比』會是最合理的判斷標準
但這個判斷標準本身就必然導致訓練出來的AI一但放出場就容易像瘋狗一樣的亂咬人
因為單位時間、單位戰鬥單位的經濟量面前，什麼都不做創造出最少的價值，而AI卻是
被訓練成追求最大的價值：也就是消滅敵方的，即使打錯對象殺錯人會有負分，但扣分
能扣多少呢？人的決策速度與AI的決策速度是可以有10的7次方以上的差距的，等待人
類的決策對AI來說幾乎是永恆
所以只能在AI演化迭代出來以後，才在各種情境模擬中縫縫補補，設定各種額外添加的
邊界條件，在執行過程的critical path 上AI沒辦法碰到的各種步驟中，就像是給狗戴
上電擊項圈那樣的約制它
另一個造成AI往瘋狗演化的因素是：
每個演化世代的篩選幾乎無法靠人工，因為世代可能得迭代上萬代，而每代的代理人
數量可能也是好幾萬，用人工去篩選這個工作量與時間是天文數字，只能寫程式去篩選
但這就要求工程師與科學家必須要可以用程式碼描述一個戰爭世界，裡面能向AI呈現
『什麼是戰略？』
『什麼是政治？』
『為什麼摧毀錯誤目標會造成戰略上的失敗與政治災難？』
『為何在局部戰術執行的最佳化上，需要人類決策的干預來實現戰略價值最大化？』
我不敢說不可能，但起碼目前人類辦不到
破壞力越強、戰術執行造成的戰略與政治影響力越大的戰鬥平台就越難丟給AI
這不是什麼天網啦、什麼人類末日啦
這只是我們單純的在電腦上用養蠱的方式打造AI，卻又蠢到期待它不要太毒太殘暴
以及證明了不論AI還是人類，單純追求KPI(key performance indicator)、局部最
佳化會如何引發災難而已