能力估計方法對多向度電腦化適性測驗測量精準度的影響

研究成果: 雜誌貢獻文章

摘要

本研究旨在分析不同能力估計方法對多向度電腦化適性測驗(multidimensional computerized adaptive testing, MCAT)測量精準度的影響。研究分為兩階段:第一階段先找出在MCAT中貝氏期望後驗法(expected a posteriori, EAP)的最佳節點數(quadrature point);第二階段是比較最大概似法(maximum likelihood, ML)、期望後驗法(EAP)與最大後驗法(maximum a posteriori, MAP)在不同向度(二向度與四向度)及不同相關性(低相關與高相關)的情況下,進行不同題數(20題、40題、60題、80題)MCAT時的能力估計信度、偏誤(bias)以及均方根誤(root mean square of error, RMSE)。階段-的結果顯示,隨著EAP節點數的增加(從5、30點)與能力向度的增加,其選題所需的時間會明顯地增加。在考量到選題時間又不致影響到測量精準度的情況下,在MCAT中將EAP的節點數訂為10是理想的選擇。階段二的結果顯示,MAP法與EAP法比ML法的能力估計信度高,均方根誤較低。在平均偏誤方面此三種方法則無明顯差異,不過MAP法會有明顯的廻歸性偏誤。這些現象在能力間相關較高、能力向度數量較多以及題數較少時會更明顯。整體而言,三種方法各有其優缺點,其中MAP法的廻歸性偏誤、EAP法的選題時間以及ML法的信度與測量誤差是未來進行MCAT時需要改善的問題。
原文Chinese
頁(從 - 到)195-211
頁數17
期刊教育心理學報
38
發行號2
DOIs
出版狀態已發佈 - 2006

Keywords

  • 多向度電腦化適性測驗
  • 最大概似法
  • 最大後驗法
  • 期望後驗法
  • Bayesian expected a posteriori
  • Bayesian maximum a posteriori
  • maximum likelihood
  • multidimensional computerized adaptive testing

引用此