位置編碼

作者: sustainer123 (caster)   2025-11-27 18:07:18
我就想說vit應該不用sin/cos
用1234固定編碼就好
原來attention is all you need是sin/cos
vit那篇是1234
不過也有cv的vit用sin/cos
實驗一下看有沒有改善 姆咪
作者: chuegou (chuegou)   2025-11-27 18:10:00
還以為是格雷碼

Links booklink

Contact Us: admin [ a t ] ucptt.com