[Vtub] AI是不是可以做即時字幕了？
作者: wei115 (ㄎㄎ) 2023-03-24 17:16:39
如題
像是這部短片 都是日文
看攏無
https://www.youtube.com/watch?v=6Sx13Our0Io
但在chatGPT的加持下
他可根據 google廢到笑的日聽字幕
大致總結出 這部短片的大綱
https://i.imgur.com/99Wg6Qs.png
這樣想想，如果結合語音模組
使用chatGPT應該可以產生出非常具有可讀性的即時字幕八？
目前來看可能價格比較高
已一部兩小時的直播來說，token數用api計費應該可以到NT1000？
有西恰嗎？
像是這部短片 都是日文
看攏無
https://www.youtube.com/watch?v=6Sx13Our0Io
但在chatGPT的加持下
他可根據 google廢到笑的日聽字幕
大致總結出 這部短片的大綱
https://i.imgur.com/99Wg6Qs.png
這樣想想，如果結合語音模組
使用chatGPT應該可以產生出非常具有可讀性的即時字幕八？
目前來看可能價格比較高
已一部兩小時的直播來說，token數用api計費應該可以到NT1000？
有西恰嗎？
作者: IHateNMR (吃飽就睡睡不飽) 2023-03-24 17:18:00
yt不是早就有即時生成字幕了
作者: Julian9x9x9 (Leon) 2023-03-24 17:18:00
早就可以了吧 只是準確度問題
作者: lolic (lolic) 2023-03-24 17:18:00
那就變雅婷逐字稿了
作者: johnny3 (キラ☆) 2023-03-24 17:19:00
即時字幕有個問題 不同文法的字幕斷句
作者: vibianus (VL) 2023-03-24 17:19:00
會議軟體已經有即時翻譯了
作者: cat05joy (CATHER520) 2023-03-24 17:20:00
早就有了吧 實況有種插件就是即時字幕+機翻
作者: johnny3 (キラ☆) 2023-03-24 17:20:00
所以文章比較適合翻譯 字幕不適合
作者: greg90326 (虛無研究所) 2023-03-24 17:21:00
到時候給你亂加料
作者: RamenOwl (星爆拉麵肥宅) 2023-03-24 17:22:00
為什麼我之前把YT影片丟到chatgpt總結 他都掰一堆完全不相干的東西出來
作者: guogu 2023-03-24 17:23:00
你都總結了怎麼即時==
作者: BBQman (BBQman) 2023-03-24 17:23:00
不太行，我烤肉會先用YT的字幕功能輸出日文字幕來抓時間軸，效果奇差，再翻譯成中文一定更破
作者: johnny3 (キラ☆) 2023-03-24 17:23:00
因為chatgpt沒資料 你問他他當然無法回答
作者: BBQman (BBQman) 2023-03-24 17:24:00
更不用說Miko，有時候還偵測成韓文
作者: johnny3 (キラ☆) 2023-03-24 17:24:00
這個軟體是用api串接 是有資料丟給gpt引擎叫引擎回答的
作者: RamenOwl (星爆拉麵肥宅) 2023-03-24 17:24:00
我之前放一個兒童共同注意力的影片，他講成什麼韓國愛心食堂，還有南非反種族隔離運動者夏綠蒂賈爾納
作者: astrayzip 2023-03-24 17:25:00
即時字幕還有一個問題啊 講的人口齒不清就沒辦法辨識
作者: johnny3 (キラ☆) 2023-03-24 17:27:00
yt字幕就我說的切字幕問題 如果是印歐語系互轉問題會比較少 因為可以直接1對1換詞就好
作者: guogu 2023-03-24 17:28:00
我是有試過漫畫圖片轉文字後丟chatgpt讓它翻 非常不行
作者: gasgoose (黑子當兵中) 2023-03-24 17:28:00
看爽的沒差 但要求正確性就無法 如果全信被誤導的機會也不小 就看目的為何
作者: chung2007 (2007) 2023-03-24 17:29:00
https://www.plurk.com/m/p/p77ea8這裡幫你整理好了
作者: bestteam (wombat是胖胖熊) 2023-03-24 17:30:00
還需要時間發展英文的V說不定可以
作者: mistel (Mistel) 2023-03-24 17:31:00
要即時應該有困難 可是反正影片都是上傳好的只要轉一次就好 so...google的廣告以外的商業模式真的很糞 像這種都是商機可以做的結果你在那邊跟微軟耗@@
作者: a1882991289 (a1882991289) 2023-03-24 17:32:00
怎就有了
作者: work1024 (Q哞) 2023-03-24 17:32:00
英文的已經可以接受了
作者: JACK90142 (JACK90142) 2023-03-24 17:34:00
你目前的即時字幕已經是簡單的AI了，舊技術也差不多夠成熟。更複雜的技術開發者會著重在理解意思甚至是回應問題，單純拿來上輔助字幕甚至是翻譯這塊潛力不足
作者: tsubasawolfy (悠久の翼) 2023-03-24 17:34:00
微軟之後要推的網路會議助理就可以語音轉文字，還可以幫你寫會議紀錄
作者: jixiang 2023-03-24 17:36:00
記得日、英好像可以即時
作者: goliath 2023-03-24 17:36:00
其實我覺得可以往解釋意思的方向發展 口說翻譯真的有難
作者: tsubasawolfy (悠久の翼) 2023-03-24 17:37:00
另外你貼的這功能，我有試過開日本YT影片，然後用edge ai要他總結這影片在講啥。他還真的去網路搜尋搞出來
作者: find64324 (Tawil) 2023-03-24 17:38:00
PR：…
作者: ikaridon (東) 2023-03-24 17:38:00
都看過人直播即時中翻日的了
作者: showwhat2 (華仔) 2023-03-24 17:43:00
我看過有人直播是一整排不同語言的字幕，但準確率普通。
作者: guogu 2023-03-24 17:45:00
日本直播我看過不少有即時日文字幕加英文翻譯的
作者: ryoma1 (熱血小豪) 2023-03-24 17:53:00
主要先卡在生成準確度，喂給AI的樣本數夠多就能先排除第一關，後面翻譯就沒啥失準問題，像那個AI Vtuber就能跟她的作者做到對答如流甚至互嘴
作者: tsubasawolfy (悠久の翼) 2023-03-24 17:57:00
https://i.imgur.com/I12t35m.png有字幕逐字稿的API比較強XD Bing只能用雲的
作者: hylio7754 2023-03-24 17:59:00
我期待即時口譯機
作者: ted50704 (ted50704) 2023-03-24 18:09:00
@johnny3
作者: goliath 2023-03-24 18:10:00
總覺得教育AI比教育小孩還有成就感了...
作者: sudekoma (′･ω･`) 2023-03-24 18:21:00
研發影片翻譯應該是最吃力不討好的吧，太容易露餡了
作者: Workshy (Workshy) 2023-03-24 18:35:00
再兩三年真的是就不用學外語了
作者: resvb (resvb) 2023-03-24 19:21:00
英文字幕不用ai，即時生成就蠻準的了，看想不想投資源進去而已
