Re: [請益] bug「可遇不可求」,各位還會去debug它嗎?

作者: imacat (imacat)   2022-06-02 12:54:56
※ 引述《freebug (Freebug)》之銘言:
: 最近開發一個通訊軟體
: 有個閃退的bug自從上週被發現到之後就再也沒被觀察到
: 也就是這個bug的出現沒有規律性,只能靠碰運氣
: 出現機率也不高 (出現機率不到10%)
: 這也是我對這個bug感到煩惱的地方
: 如果各位遇到這樣性質的bug
: 你會怎麼去處理?
: 會去盡可能的鑽研,並且製造出這bug出現的可能嗎
: 還是會選擇直接忽略?
如果沒有寫自動化測試,那10%的確感覺很低。搞幾個小時可能才重現一兩次。
建議test case寫好寫滿,刷個一萬次,應該就有足夠錯誤記錄讓你解決問題了。
寫自動化測試真的很重要。
作者: samchung (不是咖啡店小開XD)   2022-06-02 19:30:00
如果跑多次的結果會不相同,我不覺得這是一個好的測試@@
作者: brucetu (sec)   2022-06-02 20:59:00
被測code有race condition就有可能跑多次結果不同啊或者是錯誤跟data有關看過一篇微軟工程師找到特定影片 特定碼率才會出的bug最後是一個很低能的錯誤 是測資很難想到的case靠大量提出各種假設 逐一驗證 最後才找到原因
作者: wulouise (在線上!=在電腦前)   2022-06-06 20:17:00
flaky test is inevitable.. Even google has some

Links booklink

Contact Us: admin [ a t ] ucptt.com