公開信的原文：
https://futureoflife.org/open-letter/pause-giant-ai-experiments/
它裡面提到4個自我省思，其中第1點：假訊息
是曾經/正在發生，而且造成實質損失
人類判讀訊息真實性時，經驗/直覺可以在新證據 (假設是新聞、訊息) 不多、不強
或物理上不可能時，達到足夠的判斷效果
而證據的重要組成：影像、聲音、來源數
目前生成式模型已經可以很有力的產生人類無法輕易辨識的資料
以前人工時代較容易有破綻，數量也不夠多
現在就是看誰算力夠，就有機會產生足量且高品質的假資料
做為其惡性地宣傳地證據
如果時間夠長，平均來說還是可以判斷真假
然而對於反應時間短，有機會造成損失預期的假證據
平均來說不會完全相信，但會進行某種程度的防禦措施，避免損害
特別是做了也無損失的情況
例如2018年的衛生紙事件
看到新聞的人想著下班先買個衛生紙放著
然後看見彼此購買的行為又強化了缺少的感覺
最後就可以成真到某個時間點
而當生成式AI足夠優秀的時候 (也許future of life預期可能是近年)
具有足夠算力的組織或人
可以大量、多樣化的高品質假證據時
就可以透過網路媒體 (傳統媒體為了避免落後也會盡快跟上)
快速地傳給許多人
再透過經實驗確認過的真實帳號之反應狀況
來評估滾雪球的狀態
並早一步布局較有可能的成真的項目，從中獲利
假想某個上市公司A的賺錢方式是用衛生紙做蓮花來賣
然後有個邪惡組織有規劃的短時間發佈 多張不同超市 缺衛生紙的照片
搭配一些小短片 透過合成人臉和聲音 告訴你真的缺衛生紙啦
因為衛生紙遭到大量搶購 (缺原料)
上市公司A就沒蓮花衛生紙可賣，邪惡組織就空爆他
或是趁他緊張 (時間壓力) 高價賣他衛生紙
整個過程就像高級的詐騙簡訊一樣
只是詐騙簡訊是廣發後，屬於易受騙的族群 (假設2.5%) 會中招
現在因為假證據升級了
邪惡組織可以透過"平均來說"的反應 進行後續規劃
當然邪惡組織也有可能因為人類的非線性反應受損
比如說衛生紙都被囤光了 他因為知道這是假消息 所以沒有多買
結果這組織就買不到 只好拿錢擦屁股 或去買更貴的衛生紙
另外是法律面
它也比詐騙簡訊更高級了
因為你不是造成收訊者的損失
是造成收訊者反應後 某個倒楣鬼的損失
你也沒有直接從倒楣鬼那邊偷搶拐騙錢
而是依據他損失的反應而正當獲利
這直覺很難...從法律去有效的制裁
承上，Future of Life Institute提出的應對方向是甚麼呢？
生產設備可追朔：...oversight and tracking of highly capable AI systems and
large pools of computational capability...
AI浮水印(類似基改標籤)：...provenance and watermarking systems to help
distinguish real from synthetic and to track model leaks
AI傷害的責任歸屬 (法律)...liability for AI-caused harm...
金援確保AI安全的研究...robust public funding for technical AI safety
research...
建構應對AI危害的組織 (AI管理局？) ...well-resourced institutions for
coping with the dramatic economic and political disruptions
(especially to democracy) that AI will cause...
一直以來都有針對生成式模型的辨識模型研究
但短期應該打不贏，因為生成式AI才吸睛又吸金
用AI去辨識誰是AI，避免災害，比較像公共安全
而且技術上應該也很難 如果這樣防衛模型是可買到的
就可以用它加入生成模型的訓練
當然這樣也可以增加生成式AI的成本就是
至於他們提到的6個月，感覺有點謎
股點...
如果有在開發浮水印類技術或符合前述目標的公司
應該可以投資看看 至少符合他們明面上的目標吧