能力估計方法對多向度電腦化適性測驗測量精準度的影響

本研究旨在分析不同能力估計方法對多向度電腦化適性測驗(multidimensional computerized adaptive testing, MCAT)測量精準度的影響。研究分為兩階段：第一階段先找出在MCAT中貝氏期望後驗法(expected a posteriori, EAP)的最佳節點數(quadrature point)；第二階段是比較最大概似法(maximum likelihood, ML)、期望後驗法(EAP)與最大後驗法(maximum a posteriori, MAP)在不同向度（二向度與四向度）及不同相關性（低相關與高相關）的情況下，進行不同題數（20題、40題、60題、80題）MCAT時的能力估計信度、偏誤(bias)以及均方根誤(root mean square of error, RMSE)。階段－的結果顯示，隨著EAP節點數的增加（從5、30點）與能力向度的增加，其選題所需的時間會明顯地增加。在考量到選題時間又不致影響到測量精準度的情況下，在MCAT中將EAP的節點數訂為10是理想的選擇。階段二的結果顯示，MAP法與EAP法比ML法的能力估計信度高，均方根誤較低。在平均偏誤方面此三種方法則無明顯差異，不過MAP法會有明顯的廻歸性偏誤。這些現象在能力間相關較高、能力向度數量較多以及題數較少時會更明顯。整體而言，三種方法各有其優缺點，其中MAP法的廻歸性偏誤、EAP法的選題時間以及ML法的信度與測量誤差是未來進行MCAT時需要改善的問題。