科學能力的建構反應評量之發展與信效度分析:以自然科光學為例

林 小慧(Hsiao-Hui Lin), 林 世華, 吳 心楷(Hsin-Kai Wu)

Research output: Contribution to journalArticle

Abstract

由於建構反應試題較選擇題更適於評估學生的高階認知能力,本研究目的係在發展科學能力的建構反應評量,建立評分規準,並分析信度與效度。全評量包含「科學知識的記憶與瞭解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」,以及「問題解決的評估與創造」四個分評量,共計32題。分析結果顯示,評分者內之Cronbach's α與評分者間之Kendall ω和諧係數值均大於.90,表示評分者內與評分者間的一致性良好。再者,評分者嚴苛度之多面向Rasch測量模式之卡方考驗未達顯著水準,表示評分者間的嚴苛度未有差異存在,infit與outfit MNSQ介於1 ± 0.5,顯示無論嚴格或寬鬆的評分者,均能有效區分高、低能力的學生。另RSM與PCM模式比較的卡方考驗達顯著水準,將所估計的Deviance進行BIC轉換,結果發現RSM較為適配,顯示評分者間有相同的評分閾值。此外,全評量之Cronbach's α在.85以上,顯示具有不錯的信度。驗證性因素分析結果顯示,「科學知識的記憶與瞭解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」,以及「問題解決的評估與創造」所檢測四個一階潛在因素,可被二階因素之「科學能力」解釋的變異量分別為.92、.56、.46、.46,實徵資料尚且支持「科學能力的建構反應評量」的理論構念模式,係為一項精確測量科學能力的工具。
Original languageChinese
Pages (from-to)173-205
Number of pages33
JournalJournal of Research in Education Sciences
Volume63
Issue number1
DOIs
Publication statusPublished - 2018

Cite this

科學能力的建構反應評量之發展與信效度分析:以自然科光學為例. / 林小慧(Hsiao-Hui Lin); 林世華; 吳心楷(Hsin-Kai Wu).

In: Journal of Research in Education Sciences, Vol. 63, No. 1, 2018, p. 173-205.

Research output: Contribution to journalArticle

@article{8d0d55dde1324d90a1e1cff08076ceca,
title = "科學能力的建構反應評量之發展與信效度分析:以自然科光學為例",
abstract = "由於建構反應試題較選擇題更適於評估學生的高階認知能力,本研究目的係在發展科學能力的建構反應評量,建立評分規準,並分析信度與效度。全評量包含「科學知識的記憶與瞭解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」,以及「問題解決的評估與創造」四個分評量,共計32題。分析結果顯示,評分者內之Cronbach's α與評分者間之Kendall ω和諧係數值均大於.90,表示評分者內與評分者間的一致性良好。再者,評分者嚴苛度之多面向Rasch測量模式之卡方考驗未達顯著水準,表示評分者間的嚴苛度未有差異存在,infit與outfit MNSQ介於1 ± 0.5,顯示無論嚴格或寬鬆的評分者,均能有效區分高、低能力的學生。另RSM與PCM模式比較的卡方考驗達顯著水準,將所估計的Deviance進行BIC轉換,結果發現RSM較為適配,顯示評分者間有相同的評分閾值。此外,全評量之Cronbach's α在.85以上,顯示具有不錯的信度。驗證性因素分析結果顯示,「科學知識的記憶與瞭解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」,以及「問題解決的評估與創造」所檢測四個一階潛在因素,可被二階因素之「科學能力」解釋的變異量分別為.92、.56、.46、.46,實徵資料尚且支持「科學能力的建構反應評量」的理論構念模式,係為一項精確測量科學能力的工具。",
keywords = "多面向Rasch測量模式, 建構反應評量, 評分者一致性, 驗證性因素分析, confirmatory factor analysis, constructed-response assessment, many-facet Rasch measurement, rater consistency",
author = "林, {小慧(Hsiao-Hui Lin)} and 世華 林 and 吳, {心楷(Hsin-Kai Wu)}",
year = "2018",
doi = "10.6209/JORIES.2018.63",
language = "Chinese",
volume = "63",
pages = "173--205",
journal = "Journal of Research in Education Sciences",
issn = "2073-753X",
publisher = "國立臺灣師範大學",
number = "1",

}

TY - JOUR

T1 - 科學能力的建構反應評量之發展與信效度分析:以自然科光學為例

AU - 林, 小慧(Hsiao-Hui Lin)

AU - 林, 世華

AU - 吳, 心楷(Hsin-Kai Wu)

PY - 2018

Y1 - 2018

N2 - 由於建構反應試題較選擇題更適於評估學生的高階認知能力,本研究目的係在發展科學能力的建構反應評量,建立評分規準,並分析信度與效度。全評量包含「科學知識的記憶與瞭解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」,以及「問題解決的評估與創造」四個分評量,共計32題。分析結果顯示,評分者內之Cronbach's α與評分者間之Kendall ω和諧係數值均大於.90,表示評分者內與評分者間的一致性良好。再者,評分者嚴苛度之多面向Rasch測量模式之卡方考驗未達顯著水準,表示評分者間的嚴苛度未有差異存在,infit與outfit MNSQ介於1 ± 0.5,顯示無論嚴格或寬鬆的評分者,均能有效區分高、低能力的學生。另RSM與PCM模式比較的卡方考驗達顯著水準,將所估計的Deviance進行BIC轉換,結果發現RSM較為適配,顯示評分者間有相同的評分閾值。此外,全評量之Cronbach's α在.85以上,顯示具有不錯的信度。驗證性因素分析結果顯示,「科學知識的記憶與瞭解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」,以及「問題解決的評估與創造」所檢測四個一階潛在因素,可被二階因素之「科學能力」解釋的變異量分別為.92、.56、.46、.46,實徵資料尚且支持「科學能力的建構反應評量」的理論構念模式,係為一項精確測量科學能力的工具。

AB - 由於建構反應試題較選擇題更適於評估學生的高階認知能力,本研究目的係在發展科學能力的建構反應評量,建立評分規準,並分析信度與效度。全評量包含「科學知識的記憶與瞭解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」,以及「問題解決的評估與創造」四個分評量,共計32題。分析結果顯示,評分者內之Cronbach's α與評分者間之Kendall ω和諧係數值均大於.90,表示評分者內與評分者間的一致性良好。再者,評分者嚴苛度之多面向Rasch測量模式之卡方考驗未達顯著水準,表示評分者間的嚴苛度未有差異存在,infit與outfit MNSQ介於1 ± 0.5,顯示無論嚴格或寬鬆的評分者,均能有效區分高、低能力的學生。另RSM與PCM模式比較的卡方考驗達顯著水準,將所估計的Deviance進行BIC轉換,結果發現RSM較為適配,顯示評分者間有相同的評分閾值。此外,全評量之Cronbach's α在.85以上,顯示具有不錯的信度。驗證性因素分析結果顯示,「科學知識的記憶與瞭解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」,以及「問題解決的評估與創造」所檢測四個一階潛在因素,可被二階因素之「科學能力」解釋的變異量分別為.92、.56、.46、.46,實徵資料尚且支持「科學能力的建構反應評量」的理論構念模式,係為一項精確測量科學能力的工具。

KW - 多面向Rasch測量模式

KW - 建構反應評量

KW - 評分者一致性

KW - 驗證性因素分析

KW - confirmatory factor analysis

KW - constructed-response assessment

KW - many-facet Rasch measurement

KW - rater consistency

U2 - 10.6209/JORIES.2018.63

DO - 10.6209/JORIES.2018.63

M3 - 文章

VL - 63

SP - 173

EP - 205

JO - Journal of Research in Education Sciences

JF - Journal of Research in Education Sciences

SN - 2073-753X

IS - 1

ER -