[討論] 算分理論 項目反應理論

作者: hangea (Ka-lip)   2022-01-24 23:08:02
因為前一篇逐家對台語文的心得文攏真溫柔無批評,實在真感心,
我擱想欲分享到底JLPT的分數是按怎計算的原理。
毋擱因為較複雜,我這擺會用華語分享。
JLPT是用項目反應理論去推算每個考生對分數的機率分布,
最高機率的分數就是我們最後拿到的分數。
懶人包:
1. JLPT的算法是不同時期考同一level的人可以比較。
2. 他的分數代表你的程度的最大機率的地方。
3. 粗心答錯/瞎猜猜對跟自己程度差異很大的題目影響不大。
我找了一下,關於項目反應理論解釋得還算完整又好懂的文章是這篇。
https://www.med.oita-u.ac.jp/mededuc/cbt/riron_about.pdf
以下的解釋主要也都跟文章內文一樣。
1. 題目有兩種屬性,分別是難易度跟鑑別度。
"難易度高"指的是程度好的人也答不對,就是越難。
"無鑑別度"指的是程度差的人有一定比例答對,但同時也有一定比例程度好的人答錯。
https://imgur.com/3yvL323
pdf中的圖1的3條線分別是3個題目,紅線就是比藍線難,但鑑別度一樣。
藍線跟綠線難易度一樣,但綠線沒有鑑別度。
x軸表示是考生的程度,y軸表示的是答對率。
2. 答對題數一樣的人,會因為答錯的題目不同而有不同的分數。
https://imgur.com/9nLbvMI
圖2就顯示有3位考生,而他們的答題模型對應出不同的機率分布。
考生ア跟考生イ一樣都答錯兩題,但他們的機率峰值處在不同的地方。
x軸是能力值,可以想成是分數,y值是尤度,應該可以想成是整體機率。
鐘型曲線的算法也很簡單,就把該考生的各答題的表現相乘即可。
以考生ア為例,他的答案是OXX(第一題答對,後兩題答錯)。
我們現在想知道他在能力值1的地方機率多少,那就對照圖1的曲線,
第一題就是項目A,第二題是項目B,第三題項目C。
那就是0.92*(1-0.79)*(1-0.5) = 0.1
(能力值1的人,答對第一題的機率是0.92,
答對第二題的機率是0.79,但因為考生答錯第二題,所以機率是0.21。
第三題同理)
用這個算法就能算出該考生的整體機率分布。
3. 考題的難易度,鑑別度的取得方式是考生的整體答題行為決定。
看文章的描述應該是有許多方法,不過大抵上都是算大家答對的題數來排大家的能力值,
然後用能力值去算題目的難易度、鑑別度。
有了第一次的難易度、鑑別度後,再用這組參數+上面提的算法去精算大家的程度,
再去fine tune題目的難易度、鑑別度。重覆算幾次。
但因為JLPT已經考了很多年了,有許多考古題,所以在新考試中摻入一些考古題,
可以更準確知道考生的程度(或是更少的運算資源??),
再用這群考生的答題模式去推算新題目的參數。
這也是為什麼我前一篇文章說一定會有考古題,為了取得準確的參數。
而且這個考試理論上禁止母語人士參加,為了不要讓這個模型被母語者影響。
以上是pdf裡談的。
但其實實務上模型可以更複雜,可以參考這篇文章。
https://www.ptt.cc/bbs/JLPT/M.1562561086.A.595.html
4. 難易度離你程度越遠的題目,影響力越小。
(想成萬有引力滿直觀的...XD)
所以假設現在題目有20題,當中的19題的表現指出你是個強者,
結果剩下的1題超簡單,但你答錯了,對你的影響不大,很有可能在同一個級距。
反之你是廢物但猜對一題難題也一樣,影響不大。(你跟題目的距離很遠,沒啥反應)
真正影響大的是程度跟差不多的題目。
(你跟題目的距離很近,題目對這個程度的人反應很強。)
但其實JLPT的官方網站只有提到他們是用項目反應理論去估算分數,
而有許多設定及參數多少都會影響到分數的估算,所以還是只能僅供參考。
(例如pdf就沒提到4的萬有引力,所以如果JLPT並沒有考量到這點的話,
會變成強者答錯一題小學生題目時會扣分超重的相反情況,懶人包3的論述就不成立了)
作者: birka1222 (筱望)   2022-01-25 06:13:00
還是覺得很複雜,不過推分享
作者: revise (小陶)   2022-01-25 12:29:00
錯一題掉到下個級距也是很有可能的吧
作者: birka1222 (筱望)   2022-01-25 06:13:00
還是覺得很複雜,不過推分享
作者: revise (小陶)   2022-01-25 12:29:00
錯一題掉到下個級距也是很有可能的吧尤其閱讀這種題數少的

Links booklink

Contact Us: admin [ a t ] ucptt.com