Re: SAM

作者: sustainer123 (caster)   2025-08-06 18:28:50
※ 引述 《sustainer123 (溫水佳樹的兄長大人)》 之銘言:
:  
: ※ 引述 《sustainer123 (溫水佳樹的兄長大人)》 之銘言:
: :  
: : sharpness-aware minimization
: :  
: : 數學推導沒全看懂
: :  
: : 但好像就是要找到相對平坦的區域最小值
: :  
: : 這樣能提升泛化能力
: :  
: : 我看他用在分類任務
: :  
: : 有人把它用在語意分割任務ㄇ
: :  
:  
: 看val loss 能壓到更低
:  
: 但跑完指標變差
:  
: 明天改測val loss最低的指標是多少
:  
: 還有他預設是SGD 改用Adams會有差嗎
:  
有料欸
有一點提升
這篇2021的paper
今年CVPR有個for long-tail的改版
明天測一下
希望能靠這個衝個2%

Links booklink

Contact Us: admin [ a t ] ucptt.com