[閒聊] AI採譜

作者: siscon (laisan)   2021-02-23 01:16:40
ACG點
某些小眾動漫粉 特別熱衷於把ACG曲改編成鋼琴譜
然後其實本來就有好幾個軟體能用 但效果都不是很好
但半年前出的這個新的 個人覺得算進展一大步吧
以下是一些DEMO 給AI聽三首原曲 輸出MIDI
原曲1
https://youtu.be/dJ0Xcu0vJNU
原曲2
https://youtu.be/pOAf4UoqFq0
原曲3
https://youtu.be/T_D_pp283nw
結果: AI聽了上面的音樂之後輸出的MIDI
https://youtu.be/Uy65VfiXJ0M
注意到這個軟體還只能鋼琴轉MIDI而已
不能多樂器 也不能從MIDI轉成樂譜(雖然可以搭配其他工具做到)
這軟體其實是一家名為字節跳動的公司 裡面的員工發佈的論文
(字節跳動就是 抖音的公司)
之前最頂尖是google brain 2018出的一篇論文
而這篇超過google那篇
大概看了一下論文 google原本最小的frame size(最短時間單位)是32 ms
而這篇新的 用類似內插的方式去算按下琴鍵的時間點(onset)
可以說在按下琴鍵的解析度上遠比32 ms好
然後這篇還多預測踏板跟放開琴鍵的時間點(offset)
onset跟offset的準度有多重要呢
舉個例子 王羽佳演奏的大黃蜂的飛行 Cziffra改編版
BPM=108 一拍要按8次
所以每秒要按14.4次 每次的時間69.4 ms
google那篇解析度32 ms 明顯是不夠用的
實際差距可以聽聽看以下影片
https://youtu.be/OknF2KVJnRM
對於ACG採譜者的影響
大概是以後不用靠耳朵 可以用眼睛把別人彈奏的ACG曲直接寫下來
而對於做MIX的人來說
以前有一段想用的音樂 要不直接當一軌音軌 要不自己聽過寫下來
如果想做細節或是風格的編輯 就一定要寫下來
但現在能夠直接生成MIDI的話 就能省去寫下來的功夫
直接對生成的MIDI編輯就可以了
對於做音樂生成的人
比起對音訊檔去做分析
MIDI可以說是更加簡潔的表示式
所以說要training什麼的也會比較方便
這篇其中一個貢獻就是把古典鋼琴轉成MIDI的dataset
以前要有這種dataset非常麻煩
要請鋼琴家在能夠精確測量的鋼琴上演奏才能收集數據
參考資料 提供給有興趣的人
1.軟體載點
https://github.com/bytedance/GiantMIDI-Piano
2.簡易安裝教學
https://youtu.be/2gRfhL_TAvU
3.這篇論文
https://arxiv.org/abs/2010.01815
4.google論文
https://arxiv.org/abs/1710.11153
5.一些中文討論
https://www.bilibili.com/video/BV1e5411E7vA
6.關於這個議題的更多介紹
https://bit.ly/2NkUiM1
作者: yorkyoung (約克)   2021-02-23 01:19:00
有沒有AI演奏 給AI跑譜讓它彈
作者: dos01 (朵斯01)   2021-02-23 01:21:00
跑譜根本不需要AI 隨便一個編曲軟體都能跑
作者: twosheep0603 (兩羊)   2021-02-23 01:23:00
這是抓/扒譜吧 對於保存一些歷史資料應該有用
作者: yorkyoung (約克)   2021-02-23 01:24:00
哦哦哦感恩
作者: Ricestone (麥飯石)   2021-02-23 01:24:00
https://www.yamaha.com/en/about/ai/dear_glenn/AI演奏實際演奏的演繹方式本來就跟編曲軟體跑譜意思不同
作者: siscon (laisan)   2021-02-23 01:31:00
什麼是跑譜?
作者: Ricestone (麥飯石)   2021-02-23 01:33:00
就照著彈一次吧
作者: muCiKC54821 (母西)   2021-02-23 01:34:00
*王羽佳
作者: siscon (laisan)   2021-02-23 01:37:00
懂跑譜的意思了 但這篇不是跑譜 是用機器把演奏手法記下來包含每個音的彈奏時長 力度 還有踏板我知道為什麼會有這樣的疑問了 等我把原本演奏的版本貼上
作者: haohwang (haohwang)   2021-02-23 02:09:00
感覺很有潛力。同樣樂譜,大師級跟新手演奏手法就天差地遠。現在似乎是著重在保存歷史資料?繼續發展,搞不好以後只要有樂譜就能模擬某大師級不曾演奏過的曲目??
作者: aszx4510 (wind)   2021-02-23 02:18:00
推 這個好酷 還有A叔的編曲和演奏超級讚
作者: th123 (米菇)   2021-02-23 07:38:00
推個,滿喜歡鋼琴版的

Links booklink

Contact Us: admin [ a t ] ucptt.com