Re: [新聞] 黃士傑返台分享AlphaGo Zero開發過程

作者: oldTim (TIME WILL TELL)   2017-11-09 14:31:45
※ 引述《tlchen (台灣加油)》之銘言:
: ※ 引述《qweewqq (風一樣的男子)》之銘言:
: : DeepMind指出,他們不使用任何人類知識,AlphaGo Zero用上的是新的「強化學習」方法
: 對於 "不使用任何人類知識" 這句, 我心中始終有個大問號.
: 首先, 在一開始的 random play, AZ 根本不知何時要停.
: 必須人工設定去停它. 這用到了人類知道這樣的遊戲, 應該有限步要停.
: 雖然 AZ 的參數是經由自我對戰學的, 但整個架構呢?
: 要有幾層的的類神經網路? 每層有多少節點? 層跟層間的結構?
: covolution 要用 5x5 還是怎樣的大小?
: 要怎樣配合 VN, PN? 要用 MCTS 來尋找?
: 這些都沒用到人類的圍棋知識嗎?
: 這整個大架構, 是在學人類棋譜時, 發現這樣的架構, 可以訓練出不錯的 AI.
: 這架構不是隨便設就行得通的吧?
: 經由人類棋譜訓練, 找到一個好的大架構, 這樣可以稱作不使用人類知識?
: 如果今天一個完全不懂圍棋的人, 只針對規則, 就去訂了大模型架構,
: 然後經由自我對戰去學參數. 這樣的結果, 那叫做不使用任何人類圍棋知識.
: 現在這樣算嗎? 我心中實在有很大的黑人問號.
Deepmind發言裡所指涉的"知識",在AI的發展的脈絡中有特殊意義
並非廣義上我們理解的知識
===
https://technews.tw/2017/08/07/the-3rd-revolution-wave-of-ai-technology/
第一波人工智慧大約是在 1990 年代前電腦的計算與儲存能力還有限的時候,人工智慧多
是以「專家系統」的方式實現。也就是人類將一些專家才懂的知識(如醫學、法律)變成
一條條「規則」(如吃多喝多尿多可能是糖尿病)並輸入電腦,電腦就可以藉由這些規則
判斷。
第二波人工智慧主要是以機器學習運用在巨量資料探勘為本,以大量的資料配合統計及計
算科學的方法讓電腦能從事決策。
===
所謂專家才懂的知識,在圍棋中就是棋理,比如說氣、手順、遇劫先提、手割分析法..等
AlphaGO一開始輸入的是人類棋譜選點Data,並沒有根據棋理來寫規則並輸入進程式中
你若要找參考人類棋理的AI當然也有,根據我之前轉錄的加藤先生訪談,Zen這類老牌
圍棋軟體還保留了一些AlphaGO出現前專家系統的架構,但很顯然與這一波電腦圍棋進展
無關。
作者: tlchen (台灣加油)   2017-11-09 16:21:00
照這樣講,輸入棋譜也算是沒用到人類知識但這邊是因為它在模型參數的訓練沒用到人類棋譜,才說沒用人類知識.而我要說的是,模型的大架構,還是偷偷用到了
作者: Uizmp (黑袍法師)   2017-11-09 16:54:00
圍棋知識 謝謝
作者: tlchen (台灣加油)   2017-11-09 18:37:00
你現在的圍棋知識,棋譜到底算不算?不算的話,先前版本也沒用到圍棋知識
作者: Uizmp (黑袍法師)   2017-11-09 18:38:00
棋譜已經含有每盤的手順和勝敗, 如何不算?
作者: ddavid (謊言接線生)   2017-11-09 18:38:00
棋譜算是人類知識啊不然打前人的譜學習在學什麼?
作者: tlchen (台灣加油)   2017-11-09 18:39:00
算的話,先前alphago的架構,alphago zero 是延用的.只是參
作者: Uizmp (黑袍法師)   2017-11-09 18:40:00
並沒有沿用
作者: tlchen (台灣加油)   2017-11-09 18:40:00
數的估計,之前是根據人類棋譜,現在是根據自戰
作者: Uizmp (黑袍法師)   2017-11-09 18:41:00
tl你所謂的"架構" 頂多是儲存的方式, 而非儲存的資料
作者: tlchen (台灣加油)   2017-11-09 18:41:00
不算是上面說的,不是我說的我說的架構是深度類神經網路的架構這架構不是隨便設,然後就可以成功的
作者: Uizmp (黑袍法師)   2017-11-09 18:42:00
至於這個儲存方式, zero也因此把兩個神經網路合併
作者: tlchen (台灣加油)   2017-11-09 18:42:00
通常是對於不同的領域,然後不斷去試,試出一個好的架構今天 alphago 試出一個好的架構,好的學習方法.這可是有用到人類棋譜
作者: Uizmp (黑袍法師)   2017-11-09 18:44:00
至於這個深度類神經的網路是否與圍棋相關 這只有DM的人知道
作者: tlchen (台灣加油)   2017-11-09 18:44:00
我之前說的,若是連整個架構的選取都是由自戰來評估,那我就認為是沒有用到人類的圍棋知識
作者: ddavid (謊言接線生)   2017-11-09 18:47:00
好吧,如果你把定義弄得如此廣義的話也不能說徹底沒用到人類圍棋知識,但一般常用定義下並不會把學習架構也定義進去,自我決定架構這種事情Cost太高了,不太可能在這個等級的問題上實現(這等於是在圍棋學習問題上面又架了一層架構學習問題,最糟的是這個層次其實可以無限上綱)
作者: birdy590 (Birdy)   2017-11-09 18:51:00
事實上程式的架構仍然不算運用人類圍棋知識
作者: ddavid (謊言接線生)   2017-11-09 18:51:00
一般我們還是接受先拿部分人類知識來試一下可能比較好用的
作者: ddavid (謊言接線生)   2017-11-09 18:52:00
學習架構,之後清空人類知識保留架構開始自我學習,這樣還是可以算後面這次的學習沒有用到人類知識作為訓練要用非常非常非常廣的廣義才會把架構也當成人類圍棋知識建立出來的東西因為其實這些架構標準來說是人類知識,可是不算是人類圍棋
作者: Uizmp (黑袍法師)   2017-11-09 18:55:00
他的意思, 如果是因為棋譜導致使用A架構而非B架構, 就算有
作者: ddavid (謊言接線生)   2017-11-09 18:55:00
知識所建立的,我們是從已知類型的架構中選取一個結果好的
作者: birdy590 (Birdy)   2017-11-09 18:56:00
開發過程決定用架構或參數也不是看棋譜 是看對戰狀況吧在沒有真的試過以前, 有誰知道怎麼做比較好?
作者: ddavid (謊言接線生)   2017-11-09 18:57:00
,而不是從圍棋知識建立出一個專下圍棋的架構
作者: Uizmp (黑袍法師)   2017-11-09 18:57:00
但可能不管是從人類棋譜或AG的自戰棋譜 結論可能都一樣
作者: ddavid (謊言接線生)   2017-11-09 18:57:00
@Uizmp 對,他就是那個意思,而其實那就是超級廣義XD
作者: birdy590 (Birdy)   2017-11-09 18:58:00
這裡面圍棋知識其實幾乎沒有, 應該說是寫程式的知識
作者: Uizmp (黑袍法師)   2017-11-09 18:59:00
但或許是因為拋棄人類棋譜,才兩個網路合一,這就不得而知了
作者: birdy590 (Birdy)   2017-11-09 19:00:00
兩個網路合一是方便自我訓練~ 其實本來就有人在猜會合一
作者: tlchen (台灣加油)   2017-11-09 19:06:00
開發過程決定架構你說是看對戰,不是看棋譜.請問是看誰的對戰?
作者: birdy590 (Birdy)   2017-11-09 19:07:00
訓練都是用從自己亂下開始的自戰棋譜
作者: tlchen (台灣加油)   2017-11-09 19:07:00
若像你之前說的, 阿貓阿狗的對戰,不是人類的,那就沒用到
作者: tlchen (台灣加油)   2017-11-09 19:08:00
看人類對戰,或是跟人對戰,那就用到人類圍棋知識
作者: birdy590 (Birdy)   2017-11-09 19:08:00
因為 DM 是在完全未知的領域 怎麼做比較強 -- 試了才知
作者: tlchen (台灣加油)   2017-11-09 19:13:00
就說不只是寫程式的知識.每個領域的應用,要用怎樣的架構合適,要實際去試才知道.而先前 alphago 版本決定用的架構,並
作者: birdy590 (Birdy)   2017-11-09 19:13:00
還是要試過才能決定 那跟圍棋知識有什麼關係?
作者: Uizmporm   2017-11-09 19:21:00
我說了 那個可能用人類棋譜或自戰結論相同 那要怎麼算
作者: birdy590 (Birdy)   2017-11-09 20:28:00
試它好不好 直接兩個程式對下不就得了
作者: tlchen (台灣加油)   2017-11-09 21:51:00
以你的說法,前一版 master,用人類棋譜學,也是沒用到人類圍棋知識
作者: birdy590 (Birdy)   2017-11-09 21:56:00
訓練過程隱含著從棋譜提取特徵的意思廣義來說用人類棋譜可以解釋成接收人類的觀念所以從亂下開始完全自己產生棋譜自己學的意義重大
作者: jamesho8743 (加拿大好美)   2017-11-09 23:22:00
的確是這樣沒錯 應該是這樣説 master程式的確也沒用到人類圍棋知識 但是master在run 以人類棋譜輸入訓練出來的成品 就受到人類知識的影響之前版本的alpha go 本來就沒一定要用人類棋譜 它也可靠自我對戰訓練 只是初期版本演算法不夠好 收斂地不夠快 如果完全從0開始 訓練時間會很久

Links booklink

Contact Us: admin [ a t ] ucptt.com