[Vtub] 目前是不是還不能精確辨識臉部表情?

作者: lumaix (lumaix)   2021-10-15 10:09:00
回顧哈洽馬初配信
心心的五官兩隻眼睛跟眉毛可以別開動
但也發現常常眼睛跟眉毛會不同步
有時眼睛或眉毛會亂動 表情也會很怪
https://i.imgur.com/NHZr62e.jpg
但後來好像有修正
後來哈洽馬的眼睛跟眉毛連動表情也比較自然
https://i.imgur.com/FsnZyMP.jpg
不過後來好像就再也沒出現過舊的臉部辨識系統
就跟Miko 的3D手一樣
所有說目前VT所使用的系統
是不是還不能精確的辨識臉部表情?
作者: wizardfizban (瘋法師)   2021-10-15 10:10:00
看設備
作者: tom11725 (奧特斯)   2021-10-15 10:11:00
太精準其實也是壞事就是,可能會產生不必要的誤會
作者: vivianqq30 (vivianqq30)   2021-10-15 10:13:00
看設備的捕捉如何判斷啊 眼睛大小 光影 眼鏡都會影響吧
作者: ghostxx (aka0978)   2021-10-15 10:13:00
如果你要單指Holo是,純論技術不是
作者: utcn92 (望風來)   2021-10-15 10:15:00
單純hololive技術不到家
作者: we15963 (whiteway)   2021-10-15 10:15:00
之前不是有出過能非常精準判別表情的設備 只是鄉民說太過
作者: CactusFlower (仙人掌花)   2021-10-15 10:15:00
作者: we15963 (whiteway)   2021-10-15 10:16:00
恐怖谷 然後後來就沒消息了嗎?
作者: allen20937 (旅行者)   2021-10-15 10:18:00
看遊戲一堆精準的動態捕捉就知道這問題是錢砸的夠不夠多,需不需要用到的問題
作者: wizardfizban (瘋法師)   2021-10-15 10:19:00
太好的設備貴 頭戴式設備則是累 戴著長期使用不好
作者: leeberty (阿圾)   2021-10-15 10:20:00
https://youtu.be/zg4LPhl5ihw 這個Miko表情就很有戲
作者: aria0520 (紫)   2021-10-15 10:22:00
先不提其他企業勢 有些個人勢的捕捉技術超猛的
作者: stinger5009 (歪歪歪)   2021-10-15 10:22:00
可以是可以 但是真的也沒必要太精準
作者: gungriffon (阿毛毛Q)   2021-10-15 10:22:00
鯊鯊初期也會抖眼皮 然後羽衣媽媽的是有強制雙眼同步眨眼功能 有一次念棉花糖觀眾問能不能眨眼wink她說目前在用的LIVE2D有同步雙眼眨眼所以沒辦法閉單眼應該不只是只有羽衣有這功能 所以這是可以選掛的
作者: CactusFlower (仙人掌花)   2021-10-15 10:25:00
眼皮會抖應該是開闔的曲線沒拉好 L2D可以設定好幾個開闔比例的節點 要怎麼跟皮對應完全是可以自己拉的
作者: arrenwu (鍵盤的戰鬼)   2021-10-15 10:26:00
你在討論「捕捉技術」前 要先講清楚你的設備
作者: s9018124 (鬼切安綱)   2021-10-15 10:26:00
未來明的捕捉系統連舌頭都捕捉的到 雖然超級用不到的
作者: gungriffon (阿毛毛Q)   2021-10-15 10:26:00
有些規模比較小的V還是會眨眼不同步或是抖眼皮 就是調整的細節有差別
作者: arrenwu (鍵盤的戰鬼)   2021-10-15 10:27:00
Hololive就我所知道是一支手機放得遠遠的
作者: a22122212 (阿公)   2021-10-15 10:28:00
過度精準反而沒必要
作者: guogu   2021-10-15 10:29:00
如果是3d對3d可能會簡單一點 目前2d基本都是live2dlive2d的運作模式不管捕捉的再準要再現都是很困難的
作者: stinger5009 (歪歪歪)   2021-10-15 10:29:00
不自然眨眼有些是她們戴眼鏡抓不到眼睛造成的
作者: shigurew (shigure)   2021-10-15 10:30:00
目前的技術只要花錢就可以絕對精準,就看你要多複雜而已
作者: wizardfizban (瘋法師)   2021-10-15 10:31:00
Hololive是用自家軟體捕捉鏡頭畫面來運算的所以還有手動控制的部份
作者: winklly (阿鳥)   2021-10-15 10:31:00
還有就是設備對中之人的負擔吧
作者: handlin (聽說双喆吹別人口琴)   2021-10-15 10:31:00
Holo是手機捕捉吧 我記得
作者: aria0520 (紫)   2021-10-15 10:32:00
那就是iphone內建的face detection 虹ho都是
作者: iwinlottery (我中樂透頭彩)   2021-10-15 10:32:00
Fps都很低
作者: u571530 (roger)   2021-10-15 10:32:00
為什麼手都不出來玩了,有手超好笑的
作者: mimimi950 (mimi)   2021-10-15 10:33:00
現在用ToF或結構光技術可以把面部動作偵測到超精細的肌肉隨便動一下都看的出來
作者: aria0520 (紫)   2021-10-15 10:33:00
用iphone的原因是iphone有3D camandroid有3d cam的手機單手都數得出來而且大多是對岸牌(華為)
作者: guogu   2021-10-15 10:35:00
目前其實不是抓不到就是了 而是做到100%跟真人同步會很不二次元 在臉上定位後怎麼準換成二次元風格才是重點她們那些表情要讓真人做會做到臉部抽筋的
作者: corlos (ナニソレ、イミワカンナ)   2021-10-15 10:36:00
3d才行 2d大部分要切表情 只抓眉毛跟嘴巴
作者: kerycheng (kk)   2021-10-15 10:38:00
我記得齁的2D有做表情鍵能切換表情
作者: guogu   2021-10-15 10:38:00
2d目前是因為主流是live2d 其實變化是在一個軸上移動
作者: aria0520 (紫)   2021-10-15 10:39:00
face detecion其實各種model的準確度都差不多了主要的差別是在live2d的調教上例如反饋調太高就會像舞龍舞獅
作者: guogu   2021-10-15 10:40:00
目前主流讓你覺得表情豐富的2d基本上都有做表情切換
作者: moritsune (君をのせて)   2021-10-15 10:40:00
太精準就沒有why is she angry這種meme了
作者: aria0520 (紫)   2021-10-15 10:41:00
iphone沒有內建人臉情緒辨識的model api所以變成這就要v這邊去做 有人覺得他們會為了這個去搞個ai team專門train 情緒model嗎 應該是不會
作者: Amychen (amychen)   2021-10-15 10:41:00
我也很懷念miko的手手= =
作者: aria0520 (紫)   2021-10-15 10:42:00
更別提情緒類的model目前來說準確度實在低
作者: shigurew (shigure)   2021-10-15 10:42:00
你要想情緒model有了又如何,直播中有什麼特殊的情緒?
作者: rabbit61677 (rabbits)   2021-10-15 10:42:00
設備有技術也有,但還要考慮長時間直播舒適度吧
作者: aria0520 (紫)   2021-10-15 10:43:00
所以目前情況 表情按鈕還是比較好上手的解決方案
作者: tmwolf (魯神)   2021-10-15 10:43:00
眼鏡差蠻多的,因為光點會影響mapping
作者: Cishang (辭..)   2021-10-15 10:43:00
你把臉部貼滿偵測裝備應該就可以惹
作者: CactusFlower (仙人掌花)   2021-10-15 10:43:00
靠北 舞龍舞獅害我嗆到wwww
作者: shigurew (shigure)   2021-10-15 10:44:00
有哪個V會一直又哭又生氣又笑的,90%都只有普通&笑而已
作者: aria0520 (紫)   2021-10-15 10:44:00
這就有被V拿去玩梗 "我們再怎麼難過 也還是帶著笑容"
作者: guogu   2021-10-15 10:44:00
不要說ai 人都不一定能精準判斷別人情緒了
作者: EAFV (流浪貓)   2021-10-15 10:45:00
單純是holo技術不足 技術純熟的公司連掉根睫毛都可以捕捉
作者: aria0520 (紫)   2021-10-15 10:45:00
這就看你用哪種face detection,基於ai的solution眼鏡沒什麼影響 基於結構光的mapping可能會有
作者: D2Diyus (想買的書太多了)   2021-10-15 10:45:00
建模師的手法好像也有影響的樣子
作者: aria0520 (紫)   2021-10-15 10:46:00
個人覺得live2d方的調教影響遠大於detection端
作者: guogu   2021-10-15 10:47:00
我是建議可以去玩玩看免費的live2d啦 就會懂問題在哪了
作者: aria0520 (紫)   2021-10-15 10:48:00
要讓情緒類model完全反饋需要作出很浮誇的動作就是現階段是不如一個表情按鈕
作者: guogu   2021-10-15 10:49:00
live2d產生的限制其實比捕捉端大非常多
作者: as3366700 (Evan)   2021-10-15 11:12:00
一個哀鳳而已是要捕捉多精確,更專業的捕捉設備戴著打遊戲是在自虐吧
作者: minagi (美凪)   2021-10-15 11:12:00
人的表情沒有皮這麼大
作者: eas06u4 (支那五毛勿干預我國內政)   2021-10-15 11:34:00
純噓二樓言論科技進步很多了 帶著才能實況的是鴿子封包嗎
作者: rabbit61677 (rabbits)   2021-10-15 11:46:00
https://youtu.be/Qb-yKoZfI-A我是覺得穿這樣長時間直播很累啦
作者: aria0520 (紫)   2021-10-15 11:48:00
靠這個好強喔
作者: rabbit61677 (rabbits)   2021-10-15 11:49:00
這種比較偏向動作表演性質的,打遊戲我覺得沒必要
作者: suiminkusuri (薑燒豬肉我的最愛)   2021-10-15 12:17:00
比起表情比較好奇除了早期35是刻意的之外,有幾個v常常有種頭抬很高用下巴看人的感覺(?)
作者: guogu   2021-10-15 12:19:00
那種喔 就鏡頭擺的位置造成的吧 可以校正
作者: aria0520 (紫)   2021-10-15 12:19:00
那就是iphone角度沒擺準的問題有些人可能用手機支架放著 從下往上照
作者: roger840410 (roger)   2021-10-15 12:39:00
反正做成案按鈕操控表情也沒人知道 技術成本又低
作者: toulio81 (恩...)   2021-10-15 13:02:00
感覺操控的比較好,像是有些人發些比較不禮貌的SC,要是直接反應很難把嫌悪臉藏住
作者: kanzaki0s (神崎零真)   2021-10-15 13:21:00
holo的軟體不太行 到現在還是有人像舞龍舞獅 用facerig的個人勢動起來都比較順
作者: storyo11413 (小便)   2021-10-15 14:31:00
人臉追蹤辨識技術都著重在瞳孔和鼻子而已
作者: ncuephysics (量子佛法陳俊智師兄)   2021-10-15 15:17:00
師兄反而喜歡舞龍舞獅的樣子
作者: d0922030 (CAV藥丸)   2021-10-15 16:33:00
科技一定行啦 只是成本跟最後的效果好不好又是一回事vt可以按鈕選表情我覺得是一個有趣的事 比較希望手手可以拿出來玩

Links booklink

Contact Us: admin [ a t ] ucptt.com