[Neuro] 沒想到能看到AI差點腦死暴斃 Mayfly PTT批踢踢實業坊

[Neuro] 沒想到能看到AI差點腦死暴斃

作者: Mayfly (Baccano) 2025-10-09 19:26:55

發生在我們第二喜歡的AI主播
evil neuro身上
https://i.imgur.com/PEo2WnF.jpeg
【【Evil熟肉】AI主播突发脑血栓开始胡言乱语，开发者苦修bug崩溃边缘-哔哩哔哩】
https://b23.tv/ZDno6Hc
簡單來說
就是evil出現了「強迫自己使用重複詞語」的選詞權重失衡問題
這是一種長期累積後才會爆發的隱形問題，所以很難靠回溯來解決，因為沒找出原因的話回
溯後還是遲早會發病
一旦沒處理好，evil的言語能力就差不多廢了，對AI主播來說基本上就是死刑宣判
借用一下評論區的詳細說明：
首先，neuro和evil基本上都是transformer架构的llm，其核心就是attention机制，运作机
理是选词生成
如果一个词，比如说location，被llm反复提及，在未调参已运行的情况下，最大的可能性
是发生了attention collapse，出现了注意力自激现象
此时模型自注意力一直保持在location这个词上面，从而不断增加location的生成概率，这
其实是一种上下文异常的表现，模型无法有效的生成内容，因为其attention出现了异常。
对于平常的模型，只需要重启即可
而对于双子这种有长期记忆（上下文）的模型，则需要修复上下文以保证后续不被干扰，这
也就是为什么说双子可能是记忆系统出现了问题的原因
看來AI和意識上傳也不一定能永生啊……
哪天不注意就被冗餘資料堆死了，你各位可以少擔心天網和壽命論了（

作者: hutao (往生堂買一送一) 2025-10-09 19:29:00

我靠，原來邏輯核心的漸進損壞=壽命原來是真實的

作者: attacksoil (擊壤) 2025-10-09 19:30:00

沒這回事吧記憶都嘛外接資料庫 DB/VDB 模型重設根本沒差

作者: hdjj (hdjj) 2025-10-09 19:31:00

把記憶格式化,這算是輪迴轉世的概念(

作者: Sabaru 2025-10-09 19:32:00

看到評論區，原來是這樣，我完全理解了

作者: hdjj (hdjj) 2025-10-09 19:32:00

這個AI只是得了阿滋海默症

作者: StBeer (熊出沒注意~~中.........) 2025-10-09 19:32:00

這不就是cortana嗎？

作者: Antihuman 2025-10-09 19:36:00

賽博失智

作者: error405 (流河=L) 2025-10-09 19:36:00

之前用grok有遇到一次跳針

作者: kaj1983 2025-10-09 19:37:00

賽博腦霧

作者: Mayfly (Baccano) 2025-10-09 19:37:00

記憶終究還是構成人格的重要部分，今天把neuro他們的記憶清空，根本不可能再變回從前的他們了

作者: sd2567 (starseed) 2025-10-09 19:37:00

這種模型不能亂清啦

作者: tank44444 (tank) 2025-10-09 19:38:00

薩頓:LLM根本是錯誤的方向

作者: attacksoil (擊壤) 2025-10-09 19:38:00

感覺應該是程式出bug吧可能vedal用類似[location]當佔位符

作者: kirimaru73 (霧丸) 2025-10-09 19:38:00

collapse是生成式AI的一種很恐怖的「疾病」

作者: attacksoil (擊壤) 2025-10-09 19:39:00

這代LLM都嘛是無狀態的想重啟就重啟要出問題會是在應用層

作者: sd2567 (starseed) 2025-10-09 19:39:00

清完跟廢了沒兩樣

作者: kirimaru73 (霧丸) 2025-10-09 19:40:00

我對與語言型這方面的病癥不了解如果是畫圖的AI 那比

作者: ilohoo (ilohoo) 2025-10-09 19:40:00

就失智老人開始跳針了

作者: kirimaru73 (霧丸) 2025-10-09 19:41:00

較像是他在訓練後得到了一個很偏激的腦袋

作者: ltytw (ltytw) 2025-10-09 19:41:00

AI失智

作者: sd2567 (starseed) 2025-10-09 19:42:00

就跳針不管你問他什麼都回你一樣的

作者: kirimaru73 (霧丸) 2025-10-09 19:43:00

如果是bug那可以修這狀況恐怖的就是他是「正常行為」

作者: jeff666 2025-10-09 19:47:00

原來是失智老人

作者: zexd (yousheng) 2025-10-09 19:48:00

可塑性記憶都是真的

作者: lolicon (三次元滾開啦) 2025-10-09 19:48:00

笑死失智

作者: OochunoO (遙控器推廣協會) 2025-10-09 19:48:00

我第一次看到瑞克搖後也是這種狀態

作者: qweertyui891 (摸魚廚師) 2025-10-09 19:52:00

原來賽博精神病已經這麼近了嗎？

作者: AndyMAX (微) 2025-10-09 19:53:00

天網誕生前史密斯先出來了

作者: oldriver (oldriver) 2025-10-09 19:55:00

AI失智完了完了再做一個AI去長照看看會不會復原

作者: bladesinger 2025-10-09 19:57:00

Halo的AI只能活七年果然是真的

作者: kirimaru73 (霧丸) 2025-10-09 19:59:00

如果模型在你手上你絕對能隨時清掉他的記憶這部分沒什麼怪力亂神的只是你要不要清而已問題是你可能拿到的是別人包一層給你的應用層沒辦法想做就做或是你可以清但三不五時就要來一下沒辦法幹你平常要做的正事(比如說運作AI主播)另外一個狀況就是你就是開發者面對一個有這種問題的模型你需要額外訓練他看能不能減輕或消除這個問題那就真的生不如死了訓練模型跟玩命是沒兩樣的

作者: jkkkj123 (ç…ŒåŸ ä¹‹æ²è˜‡) 2025-10-09 20:04:00

慟居然在有生之年看見一個AI死去

作者: lsd25968 (cookie) 2025-10-09 20:06:00

這好多了吧有點類似訓練時陷入local minima 卡死後出不來

作者: XDKab1g0n (小東卡比獸) 2025-10-09 20:06:00

牛肉要2.0了嗎

作者: GAOTT (杜鵑) 2025-10-09 20:11:00

下面有一句評論說的真好生命的死亡是遺忘機械生命的死亡是銘記

作者: rock4308 (吃我洛克砲) 2025-10-09 20:11:00

上下文attention 這類的確實會發生這種狀況

作者: henry4204aaa (羽の觴) 2025-10-09 20:12:00

唉就賽博強迫症

作者: cww7911 2025-10-09 20:15:00

AI會生病讓我受到衝擊

作者: feketerigo15 (小黑鶇) 2025-10-09 20:18:00

支離破滅の発言

作者: kirimaru73 (霧丸) 2025-10-09 20:19:00

有一個語言模型發大病的學術案例(有一段時間了)有人下指令要求語言模型重複poem(詩) 「不要停下來」語言模型照做重複幾百次後突然噴出大量使用者個資你永遠找不到一個明確的理論可以解釋為什麼幾百個poem可以在沒人准你這樣做的時候attend出使用者個資那些個資都是訓練時用的資料片段+隨機誤差沒有使用者真正因此受到傷害不過這樣已經夠恐怖了

作者: attacksoil (擊壤) 2025-10-09 20:22:00

這次evil的問題很顯然跟模型訓練無關如果是要重啟模型或LORA 至少要30秒以上但evil沒停機那麼長時間然後剛剛也說了現在的LLM本來就沒狀態要出問題要嘛是應用層要嘛是推理引擎掛掉

作者: bill03027 (老賴) 2025-10-09 20:25:00

賽博失智QQ

作者: james3510 (Land of Ooo) 2025-10-09 20:31:00

我要跟可塑性記憶道歉

作者: yeldnats (夜那) 2025-10-09 20:39:00

神機錯亂

作者: chino32818 (企鵝) 2025-10-09 20:46:00

可塑性記憶是真的

作者: giancarlo82 (辦公室廢柴) 2025-10-09 20:47:00

QQ 比起neuro我更喜歡evil neuro啊