※ 引述 《sustainer123 (溫水佳樹的兄長大人)》 之銘言：
: 　
: 今年門控那篇
: 　
: 好屌喔
: 　
: 概念簡單而且實作簡單
: 　
: 一個小操作就有不小進步
: 　
: 我就喜歡這種文章
: 　
: 就是residual那種類型的 很讚
: 　
測試了一下
他的實現不難
就sdpa加個sigmoid跟可學習門控參數
我拿去測試vit
目前效果不佳