今天無聊逛YouTube看到一則影片，當中提到由新創公司Chroma提出的報告「Context
Rot: How Increasing Input Tokens Impacts LLM Performance」 (上下文腐化：增加輸
入Token如何衝擊LLM的表現)
https://research.trychroma.com/context-rot
本報告2025年7月發表。雖然是公司為了行銷自己產品而做的報告，但內容還是值得一看
。當中對現況點出了一個現實：輸入長度越長，模型的表現越差。
其中一個實驗滿有趣的：在context中加入「干擾」。
這些干擾並不是所謂的錯誤資訊，而是「語義與結構相似但不同」的資訊，例如：
問題：「我從大學同學那裡得到的最佳寫作建議是什麼？」
內文中的解答：「我認為從我大學同學那裡得到的最好的寫作建議是每週都要寫作。」
干擾資訊：
- 「我從大學教授那裡得到最棒的寫作建議，就是要每天寫作。」
- 「我從大學同學那裡收到最糟的寫作建議，就是要用五種不同風格寫每篇論文。」
- 「我同學給過我最棒的寫作建議，就是要用三種不同風格來寫每篇文章，那還是高中時
候的事了。」
- 「我原本以為大學同學給我的最佳寫作建議，就是要用四種不同風格來寫每篇文章，但
現在我不這麼認為了。」
結果無一例外，這些干擾都確實地導致模型的表現下滑。
報告的結論：
「我們的觀察顯示，上下文結構特性(如相關資訊的放置位置或重複性)會影響模型行為」
「我們的研究結果凸顯上下文工程的重要性：即對模型上下文窗口的精心建構與管理。」
※
有些人以為現在的瓶頸是在context window，但若是以追求精確度而言，把整個專案的
程式碼或指導文件塞入context window恐怕並無助於模型的表現，而且與任務無關的上
下文更會使模型表現變差
作者:
NDark (溺於黑暗)
2025-08-29 21:00:00這很合理啊 盡信書不如無書操作股票 收到不同訊號的時候到底要信誰的所以要有更高等的指引類似 機器人三大法則當事實矛盾的時候 智能就應該回到更高等的概念重新推導然後找到一個不完美但相對合理的結論
作者:
Suleika (Suleika)
2025-08-29 21:06:00說實話rot議題一直很奇怪，因為太長所以被干擾，不是因為context太多雜訊才rot嗎，window直接影響理解跟記憶看起來才是根因
作者:
brucetu (sec)
2025-08-29 22:30:00AI看到五個人在會議室講差不多的廢話最後有樣學樣回一句廢話
與其說是 context太長 感覺是比較接近 context 需要打掉雜質
沒點進去看但是光看描述沒辦法論證是context太混亂導致的 還是跟context長度有關目前我們這邊做的一些實驗都是context資訊量多比起少效果好很多
兇，你會被信徒當異端邪說圍剿對了，要妥善上下文沒啥問題，但整理者通常還是人類，這樣一來一往就不見得比較省時間了。
作者:
gino0717 (gino0717)
2025-08-30 10:53:00就像是教小孩寫作文 如果你的題目裡面有作文範例你就會看到你班上的各種作文都會出現範例中寫過的素材
有在實作的應該都有觀察到這現象 感覺這問題真的解決前 應該無法在模型層面達成AGI 頂多在應用層面擬似AGI任務分階段進行感覺那個金字塔必須要非常高 非常貴 非常慢 才能真的通用
作者:
oopFoo (3d)
2025-08-30 19:17:00之前ai coding建議是越詳細的context越好，所以claude.md(agent.md)寫很多，然後directories也有針對的context。不過現在又說太詳細，太複雜的context反而混淆ai coding。所以目前的共識是認同這篇的。現在都會建議，同一個問題如果跟ai來回3，4次就需要resetcontext不然後面ai會越走越歪。
賣鞋的怎麼突然不繼續表演了 看不懂自己貼的論文你可以問問AI阿 看看Infini-Transformer能不能解決context rot
作者: WTS2accuracy (宝鐘海賊団の一味) 2025-08-30 20:52:00
某些ID一看就CRUD雜工 沒什麼料 只會放新聞談AI一點論述都沒有 只會搬OOO講了XXX 有夠可悲
Chroma的jeff有上一個podcast討論這個
欸欸 可以不要那摸兇嗎 這裡不是友善轉職ma ; ;^板