Re: batch former

作者: sustainer123 (caster)   2025-10-09 18:35:55
※ 引述 《sustainer123 (溫水佳樹的兄長大人)》 之銘言:
:  
: 可以簡單理解成針對batch的注意力機制
:  
: 對每張圖片的同個位子做transformer
:  
: 老實說我覺得他的想法滿有道理的
:  
: 但我的實驗結果不是很好
:  
: 姆咪
:  
: 可能batch size太小
:  
: 也可能寫錯
:  
: 待觀察
:  
一個指標小幅提升 另一個爆跌
但我調了一段時間的直覺應該是沒用
連假完再調一下好了
先把他模組化
換個模型試試

Links booklink

Contact Us: admin [ a t ] ucptt.com