ประสิทธิภาพของการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์ โดยประยุกต์ใช้โมเดลการตอบสนองข้อสอบแบบพหุมิติ; The Efficiency of a Computerized Adaptive Testing (CAT) by Applying Multidimensional Item Response Models

Abstract

บทคัดย่อ

                การวิจัยครั้งนี้มีวัตถุประสงค์เพื่อเปรียบเทียบประสิทธิภาพของการทดสอบแบบปรับเหมาะ ด้วยคอมพิวเตอร์แบบพหุมิติ ที่กำหนดตัวแปรขนาดคลังข้อสอบ (A) จำนวน 100 ข้อ (a1)  150 ข้อ (a2) และ 200 ข้อ (a3) และตัวแปรเกณฑ์ยุติการสอบ (B) 3 เกณฑ์ คือ จำนวน 20 ข้อ (b1) SE(q) £ .30(Reliability = .91)  (b2)  และ SE(q) £ .43 (Reliability = .81) (b3)  ข้อมูลที่ใช้เป็นการจำลองสถานการณ์ ด้วยโปรแกรม MATLAB โดยจำลองผู้สอบในแต่ละเงื่อนไข 1,000 คน วิเคราะห์ข้อมูลด้วยการวิเคราะห์ความแปรปรวนพหุคูณสองทาง (Two-way  MANOVA) และทดสอบภายหลังด้วย Holtelling T²  ผลการวิจัยพบว่ามีปฏิสัมพันธ์ (IAB) อย่างมีนัยสำคัญทางสถิติที่ระดับ .01 ระหว่างขนาดคลังข้อสอบ  กับเกณฑ์ยุติการสอบ  จึงทำการเปรียบเทียบรายคู่ (simple main effect) พบว่า

                1.  กรณีคลังข้อสอบ 100 ข้อ จะให้ความถูกต้องในการประมาณค่าความสามรถของผู้สอบได้ดีที่สุดเมื่อกำหนด SE(q) £ .30 (b2) แต่จะให้ความแม่นยำในการประมาณค่าความสามรถของผู้สอบได้ดีที่สุด เมื่อกำหนด SE(q) £ .43 (b3)  เป็นเกณฑ์ยุติการสอบ

                2.  กรณีคลังข้อสอบ 150 ข้อ จะให้ความแม่นยำ และความถูกต้องในการประมาณค่าความสามารถของผู้สอบ ได้ดีที่สุด  เมื่อกำหนดข้อสอบ 20 ข้อ(b1) เป็นเกณฑ์ยุติการสอบ

                3.  กรณีคลังข้อสอบ 200 ข้อ (a3) จะให้ความถูกต้องในการประมาณค่าความสามารถของผู้สอบได้ดีที่สุด  เมื่อกำหนดเกณฑ์ยุติการสอบ (B) SE(q) £ .30 (b2) แต่จะให้ความแม่นยำในการประมาณค่าความ
สามรถของผู้สอบได้ดีที่สุด เมื่อกำหนดข้อสอบ 20 ข้อ(b1) เป็นเกณฑ์ยุติการสอบ

Abstract

                The purpose of this research was to compare the efficiency of a Multidimensional Computerized Adaptive Testing (MCAT) by setting the variables for item pool (A) for 100 items (a1), for 150 items (a2), for 200 items (a3), and the variables of termination criteria (B) 3 criterion were 20 items (b1), SE (q) £ .30 (Reliability = .91)  (b2), and SE(q) £ .43 (Reliability = .81) (b3). The data for simulation used the program of MATLAB by adapting each condition for 1,000 examinees.  Data were Multiple analysis of variance (Two – way MANOVA) and Post Hoc Procedure by Holtelling T². The research result found, the interaction (IAB) was different at the statistical significance level of 0.01 between the item pool and the termination criteria so in comparing for simple main effect, it was found that                1.  Case item pool 100 items: accuracy of the estimated ability of the examinees will be the best when setting the termination criteria for SE (q) £ .30 (b2) but to the precision of  the estimated ability of the examinees will be the best  when setting the termination criteria for  SE(q) £ .43 (b3).                2. Case item pool 150 items: accuracy and precision  of  the estimated ability of the examinees  will be the best  when setting the termination criteria for 20 items (b1).                3.  Case item pool 200 items: accuracy of the estimated ability of the examinees will be the best when setting the termination criteria for SE(q) £ .30 (b2) but the precision of the estimated ability of the examinees will be the best  when setting the termination criteria for  20 items (b1).