DeepMind發表SIMA 2代理，結合Gemini變身會解任務又會練功的遊戲AI夥伴
https://www.ithome.com.tw/news/172261
Google DeepMind公布新一代遊戲人工智慧代理SIMA 2，延續先前SIMA計畫看著螢幕、操
作虛擬鍵盤與滑鼠來學習遊戲的方式，這次Google把Gemini模型嵌入代理核心，讓人工智
慧不只是聽指令，還能在3D遊戲世界裡推理目標、解釋自己的行動，並透過自我練習持續
變強。
SIMA專案最初目標是打造能在多款3D虛擬世界通用的代理，第一代SIMA已能在多款商業遊
戲中學會超過600種語言操作技能，例如轉向、爬梯子、開地圖，完全不讀遊戲內部API，
只依賴畫面與虛擬鍵盤滑鼠輸入行動。
SIMA 2在這個基礎上換上Gemini作為推理引擎，代理不僅接受導航至特定位置這類指令，
還會先解析使用者高階目標，再自行拆成子步驟，邊行動邊用自然語言向玩家說明接下來
的行動與原因。研究團隊結合附有語言標註的人類示範影片，以及Gemini生成的標註資料
進行訓練，讓代理從人類與模型兩種來源學會在遊戲中行動與解說。
Gemini的導入也明顯拉高了SIMA 2在陌生遊戲中的泛化能力，DeepMind表示，新版代理更
能理解長且複雜、語氣較模糊的指令。同時DeepMind強調，代理會把在某款遊戲中學到的
概念轉化應用到另一款遊戲，例如把挖礦的概念對應到另一款遊戲中的採集，在廣泛任務
上的表現更接近人類玩家。
研究團隊將SIMA 2與自家世界模型Genie 3結合。Genie 3可以從一張圖片或一段文字即時
生成新的3D互動世界，場景、物件與規則與現有遊戲完全不同。在這些先前從未出現過的
世界裡，SIMA 2仍能快速辨識自己所在的位置與可互動的物件，理解使用者給出的目標，
並採取朝目標前進的合理行動。研究團隊認為，這顯示代理不再只是在固定關卡裡背題，
而是開始具備在全新環境裡適應與規劃的能力。
SIMA 2的一大亮點是自我最佳化能力，DeepMind描述，在起始階段代理仍然依靠人類示範
學習，但之後可以切換到完全由自己玩遊戲的階段，透過嘗試錯誤累積經驗。Gemini在這
裡扮演教練角色，負責提出任務，替代理的行為估算獎勵分數，而這些任務與回饋會被存
入經驗資料庫，作為下一輪訓練更強版本代理的素材。實驗顯示，在ASKA與Genie 3生成
世界中，初版SIMA 2原本完成不了的任務，經過幾代自我練功之後，代理可以在沒有新增
人類遊玩資料的情況下完成原先失敗的挑戰。
官方把這個研究視為朝向通用人工智慧與未來具身人工智慧機器人的重要一步。 SIMA 2
目前以限量研究預覽方式，優先開放給少數學界與遊戲開發者試用，希望先累積更多回饋
與風險評估，再決定後續更大規模應用的方向。
===
以後不用看人實況了,自己叫AI破,尤其是練功那塊,還有魂類跟恐怖類遊戲,
再也不用怕手殘跟找不到伴

我都讓實況主幫我打遊戲了

這就掛機程式啊

然後你負責去工作買電腦給AI玩嗎?

這方面中國是專家

這不就代打w

請問能幫我FGO刷箱嗎？

乾脆再加上語音變成AI 實況主 Neurosama

什麼時候可以幫我賺錢

自動解steam成就之日不遠矣

可以打古戰場嗎

不...等等 這還用研究？現在遊戲裡面一堆機器人自動解成就還沒達成嗎？不可能吧？每個玩家小號都20~30個在那邊刷 真的天天從頭刷到尾嗎?

他限制跟人類一樣呀 只能從螢幕鍵盤滑鼠 不能串軟體

現在腳本都要另外開發吧 這個研發好了 理想上就跟人一樣看任務敘述就知道怎麼解 怎麼操作

連點程式、智慧手把

QC大軍

可以代肝原神嗎

今天已經兩篇AI玩遊戲了，上篇原神的paper都還沒看完，第三篇來吧

moonlind你沒搞懂啊...這東西的目的不是取代腳本是訓練AI在一個足夠複雜的環境下學會自己解決問題的能力

我懂 但標題就是這個意思 如果只是幫你打遊戲 這不困難標題:AI幫你打遊戲 哦~幫我打遊戲還用得著AI嗎？我就是這個意思

如果我死太多次應該不會笑我吧

你跟新聞的標題過不去幹嘛(不會吧 現在的LLM都碼全肯定機器人w

死媽ai

那…我要幹嘛？

疑? 之前不是跑去算蛋白質, 又開始玩新東西了?