Re: [新聞] 台版ChatGPT雛型曝光 國科會用4個月秀TAI

作者: sxy67230 (charlesgg)   2023-06-14 20:37:05
※ 引述《Waitaha (行人地獄)》之銘言:
: 1.媒體來源:
: 自由時報
: 2.記者署名:
: 記者吳柏軒/台北報導
: 3.完整新聞標題:
: 台版ChatGPT雛型曝光 國科會用4個月秀TAIDE初階成果
: 4.完整新聞內文:
: 美國Open AI去年秀ChatGPT引發人工智慧(AI)浪潮,我國國科會今年2月宣布要推台

: 的生成式AI模型,耗時4個月今(14日)宣布第一階段成果,目前已投入70億個參數量

: 針對繁體中文訓練,實測已達自動摘要、翻譯文本、寫信與寫文章,都有不錯表現,並

: 度透露相關計畫經費約2到3億元,年底前希望釋出更大模型,推向商業應用。
: 國科會主委吳政忠表示,今年2月宣布要推動「可信任AI對話引擎」(簡稱TAIDE),集

: 產官學研、公私協力下,眾人力量紛紛無私奉獻,不少義工加入,加上國網中心超級電

: 算力一半拿出來支持,4個月後今公布第一階段成果,相關經費編列2到3億元,雖跟國

: 相比「小小小小小」,但確是台灣目前重要成果。
: 協助開發的陽明交通大學應用數學系教授李育杰表示,當國科會宣布台灣要有自己的生

: 式AI,避免過度依賴外國技術,眾人便開始用跑的,打造TAIDE引擎,目前利用臉書公

: 學界使用的LLaMA模型,投入70億個參數量(7B,AI訓練所需參數),達中模型規模。
阿肥外商碼農阿肥啦!
其實這四個月整個訓練框架大爆發,阿肥自己也有幫公司訓練了一個中文小羊駝(可商用
版)給業務單位使用。
包含微軟自己開源的DeepSpeed(把學習人類對話的強化學習(RLFH)訓練框架開源給大家免
費用,還有知名開源框架抱抱臉釋出一些模型壓縮方法可以直接無腦調用,整個訓練阿肥
訓練130億參數的模型從無到有弄起來真的不用一個禮拜,新手最多兩個禮拜就可以掌握
了,真的蠻無腦的。
不過像Llama這種由於參數量其實只有GPT-3(不是ChatGPT跟GPT-4)的1/10不到,所以其實
效能也是有限,像小羊駝Vicuna在通用評價測試集上只有GPT-3的92%,不過只需要一張顯
卡又傻瓜是真的值得什麼都不懂又只有小需求的訓練一下拿來玩,像阿肥現在會把他拿來
做基石做一些有趣的事情微調到自己的領域上省去人工標註的功夫。
差不多4醬

Links booklink

Contact Us: admin [ a t ] ucptt.com