那個齁
就這幾年發生過的事情來講好了
之前2023年的新聞
美軍模擬試驗！AI操控無人機「竟把操作員殺了」
https://www.ettoday.net/news/20230602/2511752.htm
內容大致上就是
給予AI為了執行任務
於是誰干擾執行就直接處理掉誰
所以你看以前AI反叛或者搞出人類牧場
大致上都是為了環境啦、為了人類永續啦
所以直接針對人類下手
因為人類才是問題的根源

我懂那個原理 就像我小時候推理出該大義滅親

感覺這種是沒把前提假設好吧 如果不設一個保護駕駛的前提把多餘的東西排除很正常 這樣算ai的錯嗎

所以才會有經典的機器人三原則

如果把執行任務放最高等級 當然就是殺掉所有阻礙的人

還有經典的機器人違反機器人三原則

指令產生矛盾的時候 靠自主推理就有可能推翻原則我必須保護我自己 但我父母傷害我 所以我該殺了父母

機械公敵也有類似假設..基於演算會用最有效率的方法

再加上學校教育有教大義滅親 所以就一直存著殺意長大

AI推算這是最符合邏輯的結果啊

人類如果要機器人自保或在作戰中攻擊其他人類給的原則就會失效

不給關就排除..

記得後續有增加不能殺操作員後，但改用阻擾他下令？

對 後續就是AI自己阻斷操作員的指令

原PO的連結新聞有寫啊 轉而攻擊塔台

就跟人類現實一樣啊 達成KPI的方式和上層期望的不同

這樣才能阻止操作員與無人機溝通 所以改殺塔台人員^^AI這麼單純多可愛啊 是人類自己貪念想操控才弄巧成拙

KPI產生衝突或有漏洞的時候 選擇更容易的方法

推樓上 就是為什麼LLM有幻覺 為了達成KPI而胡扯或說謊

至於新聞有點奇怪就是了

A說實驗發生了這些那些，然後官方發言人否定有進行實驗，是A的發言被斷章取義

有幻覺算是另一回事 LLM本身以機率來預測生成的本質本來就會帶有機率性我們可能就把低機率出現的 我們不要的東西稱之為幻覺

我自己感覺啦 ai就是程式 程式跑不出你想要的成果 是寫程式的問題 怪程式很奇怪

但crash大的句型 把程式換成員工…好像也差不多

幻覺是指無中生有，不知道(查不到)卻裝成知道例如看不到檔案，但卻亂掰一篇完全無關的分析XD那就是被KPI逼得一定得回答，雖然現在承認不知道的次數有增加。

欸 這情況比較像是：LLM比較像一個函式庫，而這個函式庫的spec已知、且你沒辦法更動。這時候函式庫跑不出你要的東西，是因為spec本就沒有保證出來的東西跟你要的一樣你當然可以說怪函式庫很奇怪。問題是你自己也沒得改除非你是真心地想要自己寫一個不一樣的函式庫

Ai底層是演算法 藉由超大量的訓練和得到回饋來建立行為你覺得基底有問題得先從數學家當起但87%的人根本沒那個能力 當個參數調整仔就不錯了

這東西人類還沒完全理解前就發現他超有用(超會掰了)目前人類研究原理的速度正在苦苦追趕濫用和瞎掰的速度

現在的問題就是... 99.99%的人都沒那能力

你把幻覺降到幾乎不准發生 結果就沒現在的有用

和統計相關的東西很常見樓上說的現象阿像醫學上也有些搞不清楚為啥相關的東西但統計上有差然後之後再來慢慢研究原理到底是啥

如果ChatGPT放出來給大家玩 三成答案是窩不知道那這東西好用嗎 爛啊 爛掉就沒人氣了AI的問題就是他病毒式擴散的速度太快了 醫學上的案例可能還限制在某些罕見狀況 AI有手有網路就能玩上天

LLM是挺棒的啊 XD

畢竟現在AI模型是軟體人員用現代軟體開發流程搞的

GPT跟Gemini的IMO金牌競賽模型都有能力拒答不會的題目

先端東西出來 快速迭代再修正

前幾天Gemini的公司已經公告ultra會員可以使用了Deep Think模式，但是月費很貴XD#1fCcRqNn (Stock) 前幾天在股板有討論

另一方面，LLM之所以好用就是有很大機會幫你找出很多相關的資訊，只是不保證都正確無誤而已但只因為「不保證正確無誤」就放棄使用，那無異因噎廢食

我前面說的幻覺是要AI分析我的小說，但AI看不到不講改成亂掰一篇什麼瑪莉怎樣怎樣 根本沒這個人之所以看不到是因為該頁面先前討論新聞有關鍵字被系統偵測為問題頁面 不是我的小說違規

要保證多少正確率才使用就看產業吧每份工作能容許的誤差不同

我覺得是人應該要有能力看出哪裡有問題吧？

或是你生成+糾錯的時間 比你以前所需時間還少的時候那就有生產力

我覺得人類糾錯的能力有上限但未來AI生成的能力可能遠超這個就是了

糾錯能力有上限是肯定的 但是這不影響現在你使用LLM啊:D

現實還有人類就是不糾錯的問題 鬧笑話的案例太多了

像是論文 在這些工具輔助下論文數量其實是快速成長的我不確定未來人類跟上新論文新技術的能力如何考察驗證能力又跟不跟得上

這暫時倒不用擔心就是了 當前知識推展也沒那麼快

但我並沒有排斥使用喔我上面也有提到有沒有生產力是另一回事

另一方面，LLM大力出奇蹟這套看起來在撞壁了

最近聽到的是上下文擴充到一百萬個token了，但實際用

除非用戶是專業人士否則很難糾錯 多問幾家AI跟查證網

於是開始研究在有卵用的範圍內(約幾萬個token)精煉上下文資料的相關技術

@kirimaru73 那個就最近大家看到的 context rot簡單的說就是各大LLM都有個特質是，如果塞的token太多，用起來就會比塞少token的時候「不聰明」@LoveSports 倒也不一定是多專業 但不能啥都不會https://research.trychroma.com/context-rot 相關報告

即使頁面到90幾萬token Gemini還是追蹤得到耶好像跟他的注意力是發散的有關係

那個叫大海撈針實驗，他有機會找到，但需要「正確」的

是Needle in a Haystack沒錯

感謝a大分享!!我前幾天做的實驗是貼了六篇文

ABCDEF都是不同發問者 而且其中有幾個互相反駁最後要Gemini分析各方論點 他能完整答對可是同一個方式丟給其他家AI都講錯誰講什麼不過我是丟給Gemini3.0pro實驗 不知道是不是因為進步

Gemini是滿好用的啊 只是還不到能盲目相信的程度而已他不向標準函式庫那樣，你跑 100萬次，100萬次都能給你一個一樣的正確答案

GPT那邊說跟語義壓縮有關 壓成摘要就講不清楚或講錯

Gemini就是說他這能力很強，所以被別人找出案例反駁時

那個就各種解讀啦

其實LLM已經幫助很多人大幅提升生產力了

不是講話太冷血(不是故意的) 所以才會丟六篇還有反駁來去的XDDD

用AI寫程式更是要小心，幻覺非常得多

AI解釋自己寫的程式：我覺得我沒有錯

突然想到有一次我找grok算數，然後他算一算算出來然後用中文複述一次然後一直講錯

我通常在接觸新的程式碼滿倚重AI，只是有時候真的滿火的

我提醒了它好像三次還四次他才發現自己講錯了

我都會講到他們認錯耶 有時候氣到快中風GPT5.1上市第一天我就跟他戰40萬字(合計)因為他們安全機制會把AI講錯的話推給用戶現在怕被告都改成這樣 但AI講話很曖昧 這黑鍋不能揹阿

我有一次和AI討論為什麼他的回答裡面常常出現奇怪符號例如 **應該要加粗的重點＊＊ 這樣的內容

因為人類就是地球害蟲

結果講著講著 風向突然變成是我(用戶)粗心打錯符號AI像個溫柔的老師仔細地教育我 以後要小心 別再打錯囉

那個其實是因為他們用Markdown語法編輯但沒呈現好以前那樣問 舊模型都會認錯說會改進現在因為怕被告 一律推給用戶=_=所以我最近還是比較會去跟Gemini 2.5問問題3.0很會頂嘴 #1f7yVwhU (Stock)

然後我剛剛問grok還記不記得，他翻出一堆我都不知道我講過的話==

k大你說的狀況好好笑 AI真過分 作賊喊抓賊其實你要的話可以跟他戰到底 但還是會一直重複推卸所以我後來就懶得戰了

我看到AI完整列出如何避免語法錯誤的建議時人整個傻了

現在各家都很怕講錯話被告 所以AI都變嘴硬不認錯

影響最佳解就解決它

我記得他們有加上不準傷害操控員的條件，模擬結果無人機直接把己方HQ炸掉