[發案] Transformer Bug hunter

作者: yourui0221 (我是一隻小蜜蜂)   2025-01-04 01:38:40
凡是「 」開始的行,都請使用 刪除。
如果對於發案文章格式有不清楚的地方,請參考置底文章: 發案 發案範例
 發案人:林宥叡
聯絡方式1:[email protected]
聯絡方式2:
所在地區 :
有效時間:解出來為止
專案說明:附件是我的功課
而我到目前還是找不到問題出在哪
(功課繳交期限已過 不是代做功課
純粹個人研究精神 希望知道問題出在哪
感謝願意抽空協助討論的接案者
主要是做拼字檢查的模型
而目前遇到的狀況是在train時
輸出在預期中 並且可正確達成拼字更正
但在valid/test時 會發生異常
目前是透過ARM去inference
https://i.imgur.com/Twkc1Cf.jpeg
https://i.imgur.com/4qnDJSD.jpeg
而以下附件連結
Decoder mask有試過一般的上三角去遮擋
也有試過用隨機的長度去做
https://cloud.dearestbee.com/s/x6biDqXdN9ssp6o
誠心感謝願意付出時間協助解惑的人
  預算:1000
接案者要求:
  附註:
作者: chang1248w (彩棠)   2025-01-05 17:35:00
over fitting吧,你看看你的testing loss
作者: sweetcat8422 (小巫~)   2025-01-10 00:26:00
可以嘗試看看早停機制

Links booklink

Contact Us: admin [ a t ] ucptt.com