[情報] 人類利用AI發掘的漏洞再度擊敗圍棋AI

作者: KAOKAOKAO (鬼斗)   2023-02-18 08:33:26
先前板上也有板友分享相關論文
最簡單說 原理是訓練另外一組AI模型對抗式的去找出頂尖模型(Katago/Leela)的漏洞
現在的進度則是 棋力達到業餘頂尖的棋手有能力學習該模型的策略
反過來擊敗先前已經遠遠超過人類等級的模型 並且有穩定表現(KGS 14勝1負)
現在這個網站有棋譜可以線上閱覽
https://goattack.far.ai/human-evaluation
摘要
1. 這個鑽漏洞模型的對局下不贏尋常棋手(網頁第一譜)
2. 鑽漏洞策略精神之一:讓AI包圍自己,自己委屈兩眼活
3. 鑽漏洞策略精神之二:從外面偷偷包抄AI的包圍網,會發現AI的反應有點異常
成功的話就能反包抄AI原先的超厚勢
有趣的點
1. Leela 那一局,對抗者的114手在黑陣中掙扎,Leela 115 竟然是滑標級脫先?
感覺上是真的是一種漏洞...
2. Katago 那一局,對抗者86跳、88飛已經以客犯主。
AI 黑棋 97、101 連續照顧自己其他的疆界,結果上方對抗者的孤棋就這樣異軍突出,
完成了反包圍。
這一譜佈局時,對抗者的白棋在左邊與下邊的連續二線潛水很好笑,
另一篇報導中提到,這個反包圍策略需要「在其他角落行棋使AI分心」,
所以應是為此的準備。
報導:https://www.ft.com/content/175e5314-a7f7-4741-a786-273219f433a1
3. 大家應該想問,為什麼不對絕藝這樣操作?我也很好奇。
4. 現在球又被丟回來AI研究者這邊了,深度強化學習為什麼會出現這樣的盲點?
從圍棋領域內來講,看起來是對於自己的厚勢產生了超過常理的自信?
雖然從棋的內容來看未必符合大家期望的弒神的快感,
但這也是剛起步的機器智慧與掙扎的人類智慧的碰撞吧,也是一局很大的棋。
作者: maplefoxs (狐狸怎麼叫)   2023-02-18 10:16:00
這樣下成功率有多高我很懷疑
作者: staristic (ANSI lover)   2023-02-18 10:27:00
這種漏洞目前各類AI多少都有,像是圖片辨識的AI可以用雜訊攻擊,雖然人眼看不出來,但是AI就分不出了只能說,AI雖然很強了,但離真正大規模運用還有段路圍棋AI無關人命,要是車用AI被攻擊,後果不堪設想
作者: kafai (豬仔包 PigSonBow)   2023-02-18 10:35:00
簡單說叫做偷吃,或者說要製造超長氣的對殺
作者: driftingjong (長空浪子雁)   2023-02-18 16:28:00
故意過擬合 這很不容易簡單來說是故意往算法不適用的特例去走
作者: ddavid (謊言接線生)   2023-02-18 21:27:00
Overfitting 是 training 的事情,應該說是刻意找出已經存在於 model 內的 overfitting 然後針對性地對抗當然也未必是 overfitting,單純的就是模型本來就沒有處理到也是可能其實深度學習會有這種盲點對研究者而言是可預見的,這個球應該算是本來就知道的球,不是現在才丟回來的XD
作者: BluffKing (中肯王)   2023-02-19 12:14:00
點進去看譜太爆笑,竟然允許填子自殺反正就是各種無下限攻擊讓AI精神錯亂是吧?這幾盤AI好像不會虛手?真怪難怪最後可以反讓AI 九子
作者: ddavid (謊言接線生)   2023-02-19 22:52:00
overfitting:訓練資料有涵蓋到的部份,但模型太過嘗試極端吻合每一筆測試資料,導致模型像是在背每個不同的答案而沒有整合出共通規則但如果某些區域根本就沒有成功整理出規則,或者模型本來就參數量不足以解釋,根本沒有收斂成功,就 underfitting 了就比如那堆奇怪的下法,AI 自戰學習可能早早就覺得很爛,很快就不會在自戰挑選相關下法了,結果反而在那堆奇怪下法裡面找出複雜場面就可能突破,這沒有看到訓練時的數據就不太確定會是哪種情況畢竟圍棋複雜度夠高,特定區域 underfitting 肯定是會發生的,只是人類根本沒那個能力自己想出又亂搞卻又夠複雜的棋來攪出問題,結果還是需要靠沒有先入偏見的 AI 來挖問題只是因為這點就說 AI 圍棋不神,我覺得反而過度反應,事實上還是 AI 才擊敗了 AI,不然 AlphaGo 都已經八、九年了,如果隨便亂搞就能凹贏,怎麼不見哪個人直接出來宣稱自己研究出了擊敗 AI 的方法XD另外,這種漏洞有可能不同模型不一樣,有可能絕藝就沒這一個洞。這跟訓練過程及模型容量都可能有關係。但終究這沒有改變 AI 就是比人還神的事實,人類靠了 AI 才勉強找到的打敗部份 AI 辦法,人家真的有心要解決,加大一下模型容量可能就又搞定了XD只是搞定這些硬搞出來的贏法根本沒有什麼商業價值,現在AI 的主要定位本來就不是自己出來下棋而是輔助學習了,對人類完全無效的下法完全沒有商業價值,只是證明了設計 AI本來就已經可以預想得到的事實而已
作者: peterfarm (心存感激)   2023-02-20 16:53:00
有bug就要處理,讓圍棋AI變完美吧!
作者: Blackout (ManhattanCafe)   2023-02-21 07:48:00
對絕藝也能用哦,可以看看大橋拓文的推特
作者: staristic (ANSI lover)   2023-02-21 08:53:00
有盲點很合理,畢境圍棋的狀態樹用整個宇宙存都存不下區區一丁點大小的權重就想cover整個圍棋數學上就不可能也許你會覺得用業餘下法就能破解很不可能,但從數學上講,就只是一條分枝而已
作者: sb710031 (@@)   2023-02-21 14:37:00
我覺得可能就是引導到像這篇的盤面https://tinyurl.com/2p992r8w
作者: TerminalD (尾文字D)   2023-02-21 15:19:00
覺得有點搞笑,原po大概沒學過張量才會有這種強度三一律的誤解
作者: mantour (朱子)   2023-02-21 21:20:00
要做出三個AI模型A穩定勝B,B穩定勝C,C穩定勝A並不難吧,勝負本來就沒有遞移律跟比速度的概念完全不同
作者: sunev (Veritas)   2023-02-21 23:59:00
人類棋手也有棋風相剋的問題啊.....

Links booklink

Contact Us: admin [ a t ] ucptt.com