這東西會出來我其實在板上hint了一段時間
想當然沒人甩我哈哈
說到花式溜冰
https://x.com/alea31415/status/1932920530316984591
https://cdn.midjourney.com/video/2f4b7136-e5bf-4d0b-8ab9-bf6a06afa645/0.mp4
說幾個雖然不是秘密但是顯為人知的事情
midjourney video本身就是我們nijijourney團隊做的
midjourney video 跟 nijourney video I2V 就是同個東西
(反正我們Japan lead twitter上都說了 不是什麼秘密
這模型就我同事練的 inference 參數 high motion low motion 都我跟另一個同事調的
調這些東西的時候我們做了很多權衡
可以參考我這條推特 https://x.com/alea31415/status/1935697390402691466
最後決定以維持原圖片風格 減少崩壞當第一優先
打造出一個獨一無二 市面上不存在的模型
然後想當然我們從頭到尾就只care anime, 或更廣泛的說 non photorealistic
我們調模型一半都是對著動畫調的
我對著mono跟飯菜的角色調 我同事對著如月千早調
真實系只是應midjourney要求順便做做
而且模型也是有個適當的真實系基礎才能把非真實做好 (真實系資料多太多了
這個模型最難的就是這些風格化的影片幾乎微乎其微
雖然這可能看似微不足道 但搞出能完全達到first frame風格的模型可以說是一大突破
至於在真實系3d這種簡單的部分 複雜動作跟語義遵循我們從來沒打算去跟veo3和kling 2
.1對標
google有多少資源 我們又有多少資源
說真的mj能有這麼大的用戶從來就不是靠在性能上硬幹 而是靠自己的風格
我們的影片模型也以這點為中心 目前看來也算取得相當的成功
至於為什麼只有480p 這單純只是怕我們infra撐不住
720p我們是可以出的 像是我最上面貼的花式溜冰跟我推特幾個影片都是720p
而且我們一開始想用低價的讓儘量多人用 所以選了只開放480p
upsacler應該不久後就會上線 這些東西要練起來其實都很簡單 keyframe/loop大概也會上
只能說mj的傳統就是 就算我們背後能做的事情很多
但只會上非常小一部分精選的功能 這就是為什麼我們沒上t2v
niji t2v還有得我們慢慢鑽研著墨
喔還有852話那個影片完全超乎我們想像 作為開發者根本不知道怎麼把模型用成這樣
一堆感覺我們模型不擅長的事情
然後我剛剛在facebook上看到這個
https://www.facebook.com/share/v/15YTx6rnci/
恩台灣長輩果然不同意義上超越我們的想像
置底友奈跟登山少女+金牌得主上 mj explore
https://x.com/alea31415/status/1935377883561869625
launch時我洗了一堆影片上去
置底串燒變成雞
https://x.com/alea31415/status/1935616928036557167