能力估計方法對多向度電腦化適性測驗測量精準度的影響

Research output: Contribution to journalArticle

Abstract

本研究旨在分析不同能力估計方法對多向度電腦化適性測驗(multidimensional computerized adaptive testing, MCAT)測量精準度的影響。研究分為兩階段:第一階段先找出在MCAT中貝氏期望後驗法(expected a posteriori, EAP)的最佳節點數(quadrature point);第二階段是比較最大概似法(maximum likelihood, ML)、期望後驗法(EAP)與最大後驗法(maximum a posteriori, MAP)在不同向度(二向度與四向度)及不同相關性(低相關與高相關)的情況下,進行不同題數(20題、40題、60題、80題)MCAT時的能力估計信度、偏誤(bias)以及均方根誤(root mean square of error, RMSE)。階段-的結果顯示,隨著EAP節點數的增加(從5、30點)與能力向度的增加,其選題所需的時間會明顯地增加。在考量到選題時間又不致影響到測量精準度的情況下,在MCAT中將EAP的節點數訂為10是理想的選擇。階段二的結果顯示,MAP法與EAP法比ML法的能力估計信度高,均方根誤較低。在平均偏誤方面此三種方法則無明顯差異,不過MAP法會有明顯的廻歸性偏誤。這些現象在能力間相關較高、能力向度數量較多以及題數較少時會更明顯。整體而言,三種方法各有其優缺點,其中MAP法的廻歸性偏誤、EAP法的選題時間以及ML法的信度與測量誤差是未來進行MCAT時需要改善的問題。
Original languageChinese
Pages (from-to)195-211
Number of pages17
Journal教育心理學報
Volume38
Issue number2
DOIs
Publication statusPublished - 2006

Cite this

能力估計方法對多向度電腦化適性測驗測量精準度的影響. / 陳柏熹(Po-Hsi Chen).

In: 教育心理學報, Vol. 38, No. 2, 2006, p. 195-211.

Research output: Contribution to journalArticle

@article{d07a2b68f07546e1aa1b3b5c04ab2ed3,
title = "能力估計方法對多向度電腦化適性測驗測量精準度的影響",
abstract = "本研究旨在分析不同能力估計方法對多向度電腦化適性測驗(multidimensional computerized adaptive testing, MCAT)測量精準度的影響。研究分為兩階段:第一階段先找出在MCAT中貝氏期望後驗法(expected a posteriori, EAP)的最佳節點數(quadrature point);第二階段是比較最大概似法(maximum likelihood, ML)、期望後驗法(EAP)與最大後驗法(maximum a posteriori, MAP)在不同向度(二向度與四向度)及不同相關性(低相關與高相關)的情況下,進行不同題數(20題、40題、60題、80題)MCAT時的能力估計信度、偏誤(bias)以及均方根誤(root mean square of error, RMSE)。階段-的結果顯示,隨著EAP節點數的增加(從5、30點)與能力向度的增加,其選題所需的時間會明顯地增加。在考量到選題時間又不致影響到測量精準度的情況下,在MCAT中將EAP的節點數訂為10是理想的選擇。階段二的結果顯示,MAP法與EAP法比ML法的能力估計信度高,均方根誤較低。在平均偏誤方面此三種方法則無明顯差異,不過MAP法會有明顯的廻歸性偏誤。這些現象在能力間相關較高、能力向度數量較多以及題數較少時會更明顯。整體而言,三種方法各有其優缺點,其中MAP法的廻歸性偏誤、EAP法的選題時間以及ML法的信度與測量誤差是未來進行MCAT時需要改善的問題。",
keywords = "多向度電腦化適性測驗, 最大概似法, 最大後驗法, 期望後驗法, Bayesian expected a posteriori, Bayesian maximum a posteriori, maximum likelihood, multidimensional computerized adaptive testing",
author = "陳, {柏熹(Po-Hsi Chen)}",
year = "2006",
doi = "10.6251/BEP.20061003",
language = "Chinese",
volume = "38",
pages = "195--211",
journal = "Bulletin of Educational Psychology",
issn = "1011-5714",
publisher = "臺灣師範大學教育心理與輔導學系",
number = "2",

}

TY - JOUR

T1 - 能力估計方法對多向度電腦化適性測驗測量精準度的影響

AU - 陳, 柏熹(Po-Hsi Chen)

PY - 2006

Y1 - 2006

N2 - 本研究旨在分析不同能力估計方法對多向度電腦化適性測驗(multidimensional computerized adaptive testing, MCAT)測量精準度的影響。研究分為兩階段:第一階段先找出在MCAT中貝氏期望後驗法(expected a posteriori, EAP)的最佳節點數(quadrature point);第二階段是比較最大概似法(maximum likelihood, ML)、期望後驗法(EAP)與最大後驗法(maximum a posteriori, MAP)在不同向度(二向度與四向度)及不同相關性(低相關與高相關)的情況下,進行不同題數(20題、40題、60題、80題)MCAT時的能力估計信度、偏誤(bias)以及均方根誤(root mean square of error, RMSE)。階段-的結果顯示,隨著EAP節點數的增加(從5、30點)與能力向度的增加,其選題所需的時間會明顯地增加。在考量到選題時間又不致影響到測量精準度的情況下,在MCAT中將EAP的節點數訂為10是理想的選擇。階段二的結果顯示,MAP法與EAP法比ML法的能力估計信度高,均方根誤較低。在平均偏誤方面此三種方法則無明顯差異,不過MAP法會有明顯的廻歸性偏誤。這些現象在能力間相關較高、能力向度數量較多以及題數較少時會更明顯。整體而言,三種方法各有其優缺點,其中MAP法的廻歸性偏誤、EAP法的選題時間以及ML法的信度與測量誤差是未來進行MCAT時需要改善的問題。

AB - 本研究旨在分析不同能力估計方法對多向度電腦化適性測驗(multidimensional computerized adaptive testing, MCAT)測量精準度的影響。研究分為兩階段:第一階段先找出在MCAT中貝氏期望後驗法(expected a posteriori, EAP)的最佳節點數(quadrature point);第二階段是比較最大概似法(maximum likelihood, ML)、期望後驗法(EAP)與最大後驗法(maximum a posteriori, MAP)在不同向度(二向度與四向度)及不同相關性(低相關與高相關)的情況下,進行不同題數(20題、40題、60題、80題)MCAT時的能力估計信度、偏誤(bias)以及均方根誤(root mean square of error, RMSE)。階段-的結果顯示,隨著EAP節點數的增加(從5、30點)與能力向度的增加,其選題所需的時間會明顯地增加。在考量到選題時間又不致影響到測量精準度的情況下,在MCAT中將EAP的節點數訂為10是理想的選擇。階段二的結果顯示,MAP法與EAP法比ML法的能力估計信度高,均方根誤較低。在平均偏誤方面此三種方法則無明顯差異,不過MAP法會有明顯的廻歸性偏誤。這些現象在能力間相關較高、能力向度數量較多以及題數較少時會更明顯。整體而言,三種方法各有其優缺點,其中MAP法的廻歸性偏誤、EAP法的選題時間以及ML法的信度與測量誤差是未來進行MCAT時需要改善的問題。

KW - 多向度電腦化適性測驗

KW - 最大概似法

KW - 最大後驗法

KW - 期望後驗法

KW - Bayesian expected a posteriori

KW - Bayesian maximum a posteriori

KW - maximum likelihood

KW - multidimensional computerized adaptive testing

U2 - 10.6251/BEP.20061003

DO - 10.6251/BEP.20061003

M3 - 文章

VL - 38

SP - 195

EP - 211

JO - Bulletin of Educational Psychology

JF - Bulletin of Educational Psychology

SN - 1011-5714

IS - 2

ER -