[閒聊] AI繪圖臉部控制 - 一鍵表情差分快了?

作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-03 21:25:55
剛好看到兩個做法在做同一件事情
1.
https://www.reddit.com/r/StableDiffusion/comments/1281iva/
https://images.plurk.com/15XbmRqM0HXs5DEK4isMET.jpg
2.
https://huggingface.co/georgefen/Face-Landmark-ControlNet/
https://images.plurk.com/489zPo82N6AMor6RNUaPyJ.jpg
理所當然的都是ContolNet的變體,果然是SD最重要的推手。
現在AI繪圖做差分是用inpaint一直局部重畫臉部,
但我覺得可以預期最後會變成這樣一鍵差分了。
https://images.plurk.com/7pVJMEmVuZzvuJfiHR3EGe.png
-
順便附錄一下,
戀活 x Stable Diffusoin擺拍插件,不過戀活本來好像就已經是3D場景引擎了XD
https://www.bilibili.com/video/BV19g4y1u7Nb/
看到一起丟,四月SD模型推薦合集
https://www.bilibili.com/video/BV1em4y1z7Dg/
韓文的動漫風模型整理文
https://arca.live/w/aiart/%EB%AA%A8%EB%8D%B8
Lora模型訓練教學
http://b23.tv/GhcSJ75
作者: vios10009 (vios10009)   2023-04-03 21:29:00
ContolNet真的神
作者: jabari (Still不敢開槍的娘娘腔)   2023-04-03 21:30:00
一鍵啊嘿+嘴邊毛+愛心眼
作者: arrenwu (鍵盤的戰鬼)   2023-04-03 21:31:00
差分看起來要的是相反的行為?"inpaint一直局部重畫臉部"的腳本?
作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-03 21:32:00
我的想法是可能會變成一張ControlNet模板上面有喜怒哀樂各種表情的臉部特徵圖,然後直接出一套(像底下多視角圖一樣)
作者: bluejark (藍夾克)   2023-04-03 21:34:00
不用這個也有人做啊就直接用文字改表情的的
作者: jeff0811 (jeff)   2023-04-03 21:35:00
AI做動畫的時代快到了
作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-03 21:36:00
因為下面就是用一張由3D模型做成的環繞像模板,一次出同樣衣裝構圖的角色的方法,那把各種常見表情做成模板應該有機會
作者: arrenwu (鍵盤的戰鬼)   2023-04-03 21:37:00
看起來是「局部」修改的部分比較不一樣動畫那邊好像暫時沒看到相關的什麼進展XD明明動畫那邊我覺得需求還滿強的說
作者: reader2714 (無毀的湖光)   2023-04-03 21:38:00
contolNet算是大躍進的推手了吧
作者: bluejark (藍夾克)   2023-04-03 21:40:00
動畫的問題就是他每格畫的都會因為畫的有問題
作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-03 21:41:00
動畫之前聽人演講有提到,現在問題在v2v(逐禎i2i)的過程,你去壓隨機性就會轉了等於沒轉,但釋放隨機性就是不連貫閃爍
作者: bluejark (藍夾克)   2023-04-03 21:41:00
圖片很多都生一堆圖選好的貼出來就行了
作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-03 21:42:00
動畫要突破要一個能在整套圖片中固定隨機性的算法之類
作者: bluejark (藍夾克)   2023-04-03 21:42:00
連起來動起來你就看衣服差異就很明顯
作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-03 21:44:00
看專門弄動畫的Runway能不能克服技術吧https://research.runwayml.com/gen2
作者: bluejark (藍夾克)   2023-04-03 21:45:00
我想到一件事 現在有辨法指定色碼嗎
作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-03 21:46:00
我還沒聽過,有機會再注意XD
作者: bluejark (藍夾克)   2023-04-03 21:46:00
現在用文字指定顏色其實也會有色差
作者: arrenwu (鍵盤的戰鬼)   2023-04-03 21:46:00
就...前期概念我覺得還不錯用啦直接拿出來那應該是不行的
作者: v86861062 (數字人:3)   2023-04-03 21:49:00
推推
作者: SALEENS7LM (我愛我婆,更愛你的)   2023-04-03 21:50:00
如果只是拿來協助一些初期參考資料可能有點幫助吧大概,但也就這樣了
作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-03 21:51:00
結果目前動畫我看到完成度最高的除了剪刀石頭布外大概還是https://www.facebook.com/watch/?v=549123813859075這間台灣公司的嘗試作品,不知道未來會不會有後續(這影片已經是兩個月前了)哦對了,這間是台灣的動畫公司,算業界吧XD
作者: allanbrook (翔)   2023-04-03 21:52:00
我還是覺得目前這種濾鏡似的東西冠上AI動畫很騙人
作者: arrenwu (鍵盤的戰鬼)   2023-04-03 21:53:00
那個完成度不高吧 只是問題沒有那麼明顯而已本質上的問題是一樣的
作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-03 21:55:00
我只是說這是完成度最高的,但整體完成度還是...XD還是先看繪圖應用吧,一件差分能出來對於RM系遊戲應該很能用
作者: allanbrook (翔)   2023-04-03 21:55:00
基本上現在效果看起來越好 就只表示他們的原始素材本身就已經很好了
作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-03 21:56:00
至少我對AI動畫沒太多期待,AI 3D模型還比較有盼頭
作者: arrenwu (鍵盤的戰鬼)   2023-04-03 21:56:00
應該說,那個跟上面妳貼的KPOP 動畫MV我覺得是差不多的不知道有沒有什麼方向是可以加速原畫的這個如果能加速 會直接幫助到現行的動畫產業
作者: bluejark (藍夾克)   2023-04-03 22:07:00
像上面提的能指定色的話那AI上色理論就能自動化了
作者: x2159679 ((● ω ●))   2023-04-03 22:08:00
不過有一個問題是指定上色使用者上的色會比ai好看嗎ai可以說已經是把上色能力練到極致了像一堆圖ai都已經自己預設做好冷暖對比了
作者: bluejark (藍夾克)   2023-04-03 22:10:00
像我們看的動畫都有指定色票啊才不會每個人上得不一樣
作者: allanbrook (翔)   2023-04-03 22:12:00
講速度還可以 講好看你太小看人類了吧
作者: arrenwu (鍵盤的戰鬼)   2023-04-03 22:13:00
上色這個比較沒有絕對的好看指標就是了
作者: momoden   2023-04-03 22:16:00
每次都說大概只能這樣 然後它就進化了
作者: showwhat2 (華仔)   2023-04-03 22:20:00
上色指標請找色彩學,現在AI的上色能力取決於模組和濾鏡,現在不知道有沒有上色插件可以用。
作者: bluejark (藍夾克)   2023-04-03 22:21:00
觀眾還是人啊不然AI動畫有那種像是有嗑藥的那種
作者: HotDogCC (0.38別騙)   2023-04-03 22:21:00
有沒有人用DLSS3搭配model來生動畫,蠻想看的
作者: cybermeow (我有一隻貓)   2023-04-03 22:59:00
我還在等哪個圖片平臺會先把ai差分接上去文字的像是notion都接了 圖片的目前感覺還是分成兩塊
作者: SALEENS7LM (我愛我婆,更愛你的)   2023-04-03 23:17:00
上色跟其他繪畫成份一樣,沒有絕對,我純手工派當然最喜歡也只能接受人親自去上色,尤其是米山舞、MikaPikazo或LAM的,超讚der

Links booklink

Contact Us: admin [ a t ] ucptt.com