Re: [討論] AI還能夠紅幾年? 以聊天機器人領域來說明

作者: lion741205 (獅子)   2019-12-09 22:38:37
※ 引述《wang19980531 (中立評論員)》之銘言:
: 雖然現在實驗室接到很多公司計畫還是和機器學習相關,
: 但其實很多教授都覺得AI在走下去也過不了幾年,
: 技術方面已臻成熟,玩不出什麼把戲了。
: 不知道業界怎麼看呢?
: 未來的發展是量子計算機嗎?
雖然CV透過DL取得了重大進展,但在NLP領域,AI仍然處於發展初期,技術談不上成熟,
以敝人負責的Chatbot領域來說,有個可以參考的例子,自從圖靈測試在2014年被聊天機
器人Eugene通過後,加拿大學者改進測試的缺失提出了威諾格拉德架構挑戰賽(Winograd
Schema Challenge),也是目前最具權威的AI競賽。
該競賽的第一輪是代詞消歧問題(Pronoun disambiguation problems)。舉例來說,當人
類分析句子時,會用經驗來理解指代的對象:
一、市議會拒絕示威者,因為他們害怕暴力。
二、市議會拒絕示威者,因為他們提倡暴力。
而這個選擇題只有兩個答案,代詞"他們"是指"市議會"還是"示威者",AI應該要指出在第
一句說的是市議會,第二句說的是示威者,從問題上可以發現,系統無法透過這段話的上
下文進行理解得到答案,這在實作上必須透過知識圖譜(Knowledge Graph)進行推理,要
通過比賽拿到獎金25,000鎂,準確率(Accuracy)必須達到90%以上,但目前最好的成績只
有58%,遠比人類低得多。
除了上述根本影響Chatbot問答品質的問題,還有幾個難題仍未被突破:
一、為了整合語音辨識、詞法分析、句法分析、語意分析、深度學習,答案搜尋,對話管
理、自然語言生成和語音合成等模組,確保其相容性,以及敝司過去欠下近十年的技術債
,當前Chatbot架構與模型相當複雜,管理較為困難,如何研發通用的架構與模型,是未來
所有同業的發展目標。
二、情感分析(Sentiment Analysis)可以讓Chatbot與人交互時更有溫度,是目前產學
界熱門研究方向。
三、現在的Chatbot只能做好特定領域的工作,如何建構開放領域的知識,甚至不需要人
工建構知識,讓機器自學習,也是產學界正在努力的方向。
四、端對端(End to end)系統的建立,不經過傳統的模組串聯,利用DL建立端對端的簡潔
模型;達到輸入原始資料後,可直接得到想要的輸出結果,但與此同時還要支援多輪對話
管理、上下文情境及知識圖譜推理,避免安全回答,甚至是保持Chatbot個性的一致性,
這些挑戰都是產學界近期的目標。
以上問題,可見AI還有很長的一段路要走;但不管準確率有多高,以商用Chatbot來說,
只要能節省足夠的客服成本,就能讓許多企業為高價的AI人才買單。以上是個人在業界
工作得到的經驗,分享給各位同業;這個領域還有一堆做不完的工作,也鼓勵研究生們
好好學習入坑。
文章被JPPT App吃掉了... 整理中
作者: nighthunt (johnyu164)   2019-12-09 22:59:00
想請教三成就能有實際應用價值這樣的論述是如何得到的
作者: followwar (嫌疑犯X的獻身)   2019-12-09 23:15:00
NLP不是被BERT模型統治了嗎...BERT是pretrained by unsupervised mask autoencoding要用在其他作業勢必要finetune 該怎麼理解"不一致"之說
作者: sxy67230 (charlesgg)   2019-12-10 00:17:00
Bert的問題比較像是當前純原始語料資料本身就很精確,質量高的情況下再做大規模訓練,但是我認為好的訓練應該是要建立在資料源規模不複雜的情況下,像是XLNET或是ALBERT 就是很好的嘗試,回歸語言建模的問題。然後語言本身就是複雜的問題,AR ML跟AE ML樓主有點混淆了,多輪對話是一個生成跟理解加上記憶的問題,可以去找找參考文獻。我不敢說Bert統合了一切,Bert家族反而更像基酒,重點在語言建模的問題上。
作者: GGFACE (ggface)   2019-12-10 00:35:00
沒錯
作者: sxy67230 (charlesgg)   2019-12-10 00:46:00
我打錯字了 AR LM 跟AE LM然後人類視為智慧的聊天建立是更複雜的多重任務,包含生成、理解、先驗知識的推理跟後驗知識的檢索、記憶、組合、情感,還有文化脈絡的符號。
作者: longlongint (華哥爾)   2019-12-10 11:23:00
個人覺得 文法上是往前找最近的名詞 只能是示威者所以 一那個句子根據知識會覺得WT.....
作者: followwar (嫌疑犯X的獻身)   2019-12-10 13:16:00
我理解了你的concern 那我說"Transformer"架構統治NLP也許更精準一點 我比較想說Architecture而不是TASK如同ResNet"架構"在CV領域的影響力
作者: w0005151 (藍廳)   2019-12-10 18:58:00
這ID有印象是個高手, 在業界混過看到的果然會不太一樣
作者: iaminanl (好MAN)   2019-12-10 19:19:00
你舉的這兩句,我覺不同情境、不同人可能有不同答案
作者: leoloveivy (cried)   2019-12-10 20:15:00
花錢用azure
作者: genius945 (添財)   2019-12-10 23:50:00
推 感謝分享
作者: ILYY (毅力)   2019-12-11 01:13:00
作者: DrTech (竹科管理處網軍研發人員)   2019-12-11 22:12:00
這篇討論沒很專業吧,論文也沒看幾篇的人,chatbot通常是開放領域的"閒聊",才會用chatbot 這名詞。chatbot通常跟task-oriented的客服完全不同研究或實務產品路線。這篇卻把chatbot 與客服扯在一起…至於NLP被BERT統治?出社會工作了嗎?還是在沒業務的小公司? 真正流量大,即時性高的應用怎麼上得了BERT模型壓縮,或知識蒸餾搞 下去,也不是叫BERT阿另外,先不說計算時間問題,BERT真沒想像中神奇,BERT以及相關預訓練模型出現,學術論文多,實務上真的幫助不大,一堆問題還是沒有好方法。
作者: sxy67230 (charlesgg)   2019-12-11 23:22:00
open domain chatbot確實是跟任務導向的客服是不太一樣的東西。不過Bert不代表無法應用到高流量上。即時性取決於你想應用的場域,不過就算是rule based 也很難做到open domain ,目前普通商用客服的應用頂多就是過去值機系統的2.0版而已,商業上就是一堆人工建立問答檢索,搭配分類跟抽取,最多加上知識圖譜、情感分析。當然上述都是普通公司的應用。然後這邊確實很難有精彩的辯論,還是要去Reddit才比較有可能
作者: jimmy55311 (jimmy55311)   2019-12-12 00:31:00
推專業深度文 感謝大神分享經驗 這篇主要是講NLP未來的方向吧 後續討論有點離題了
作者: friends29 (涼哥哥)   2019-12-15 03:28:00
好文推

Links booklink

Contact Us: admin [ a t ] ucptt.com