การพัฒนาระบบการทดสอบปรับเหมาะด้วยคอมพิวเตอร์แบบไฮบริด ภายใต้วิธีการคัดเลือกข้อสอบ และวิธีการควบคุมการใช้ข้อสอบซํ้าที่แตกต่างกัน
Article Sidebar
Main Article Content
บทคัดย่อ
การศึกษาครั้งนี้มีวัตถุประสงค์เพื่อเปรียบเทียบประสิทธิภาพการประมาณค่าความสามารถของผู้สอบในการทดสอบปรับเหมาะด้วยคอมพิวเตอร์แบบไฮบริดภายใต้วิธีการคัดเลือกข้อสอบระหว่าง วิธีสารสนเทศสูงสุดของฟิชเชอร์ (Maximum Fisher Information: MFI) และวิธีดัชนีลำดับความสำคัญสูงสุด (Maximum Priority Index: MPI) และการควบคุมการใช้ข้อสอบซํ้าระหว่างวิธีซิมสันและเฮตเทอร์ (Sympson-Hetter Procedure: SH) และวิธีค่าความคลาดเคลื่อนมาตรฐานแบบจำกัดความก้าวหน้า (ProgressiveRestricted Standard Error: PR-SE) โดยจำลองกลุ่มตัวอย่าง 1,000 คน จำลองคลังข้อสอบ จำนวน 600 ข้อ การคำนวณค่าความน่าจะเป็นในการตอบข้อสอบถูกของกลุ่มผู้สอบที่จำลองขึ้นกับคลังข้อสอบ โดยใช้สูตรแบบ 3 พารามิเตอร์ศึกษาประสิทธิภาพวิธีการประมาณค่าความสามารถ วิธีการคัดเลือกข้อสอบ วิธีการควบคุมการใช้ข้อสอบซํ้าและเกณฑ์การยุติการสอบน้อยกว่าหรือเท่ากับ 0.3 โดยการวิเคราะห์ประสิทธิภาพด้านความถูกต้องแม่นยำของการประมาณค่าความสามารถของผู้สอบ จากค่าความคลาดเคลื่อนกำลังสองเฉลี่ย ค่าความลำเอียงเฉลี่ย และค่าเฉลี่ยความสัมพันธ์ระหว่างค่าความสามารถจริงกับค่าความสามารถประมาณค่า
ผลการวิจัยพบว่า วิธีดัชนีลำดับความสำคัญสูงสุด (Maximum Priority Index: MPI) และวิธีค่าความคลาดเคลื่อนมาตรฐานแบบจำกัดความก้าวหน้า (Progressive-Restricted Standard error: PR-SE) มีประสิทธิภาพความถูกต้องและความแม่นยำสูงกว่า โดยเกณฑ์ยุติการทดสอบเมื่อความคลาดเคลื่อนมาตรฐานในการประมาณค่าความสามารถน้อยกว่าหรือเท่ากับ 0.3
Article Details
“ข้าพเจ้าและผู้เขียนร่วม (ถ้ามี) ขอรับรองว่า บทความที่เสนอมานี้ยังไม่เคยได้รับการตีพิมพ์และไม่ได้อยู่ระหว่างกระบวนการพิจารณาลงตีพิมพ์ในวารสารหรือแหล่งเผยแพร่อื่นใด ข้าพเจ้าและผู้เขียนร่วมยอมรับหลักเกณฑ์การพิจารณาต้นฉบับ ทั้งยินยอมให้กองบรรณาธิการมีสิทธิ์พิจารณาและตรวจแก้ต้นฉบับได้ตามที่เห็นสมควร พร้อมนี้ขอมอบลิขสิทธิ์บทความที่ได้รับการตีพิมพ์ให้แก่สถาบันการจัดการปัญญาภิวัฒน์หากมีการฟ้องร้องเรื่องการละเมิดลิขสิทธิ์เกี่ยวกับภาพ กราฟ ข้อความส่วนใดส่วนหนึ่งและ/หรือข้อคิดเห็นที่ปรากฏในบทความข้าพเจ้าและผู้เขียนร่วมยินยอมรับผิดชอบแต่เพียงฝ่ายเดียว”
References
Cheng, Y. & Chang, H. H. (2009). The maximum priority index method for severely constrained item selection in computerized adaptive testing. British Journal of Mathematical and Statistical Psychology, 62, 369-383.
Čisar, S. M., Radosav, D., Markoski, B., Pinter, R. & Čisar, P. (2010). Computer Adaptive Testing of Student Knowledge. Acta Polytechnica Hungarica, 7(4), 139-152.
Davis, L. L. & Dodd, B. G. (2005). Strategies for controlling item exposure in computerized adaptive testing with partial credit model (PEM Research Report No. 05-01). Austin, TX: Pearson Educational Measurement.
Deng, H., Ansley, T. & Chang, H. H. (2010). Stratified and Maximum Information Item Selection Procedures in Computer Adaptive Testing. Journal of Educational Measurement, 47(2), 202–226.
Elissavet, G. E. T. & Economides, A. A. (2007). Review of Item Exposure Control Strategies for Computerized Adaptive Testing Developed from 1983 to 2005. The Journal of Technology, Learning, and Assessment, 5(8), 4-37.
Hambleton, R. K. & Xing, D. (2006). Optimal and nonoptimal computer-based test designs formaking pass–fail decisions. Applied Measurement in Education, 19, 221–239.
Jodoin, M. G., Zenisky, A. & Hambleton, R. K. (2006). Comparison of the psychometric properties of several computer-based test designs for credentialing exams with multiple purposes. Applied Measurement in Education, 19, 203-220.
Kanjanawasee, S. (2013). Classical Test Theory (7th ed.). Bangkok: Chulalongkorn University Publishing.
Kanjanawasee, S. (2012). Modern Test Theories (4th ed.). Bangkok: Chulalongkorn University Publishing.
Koedsri, A. (2014). Efficiency of two item selection methods in computerized adaptive testing for the testlet response model: A comparison between the Monte Carlo CAT method and the Constraint-Weighted a-stratification method. Doctor of Philosophy Program in Educational Measurement and Evaluation, Chulalongkorn University.
Leroux, A. J., Lopez, M., Hembry, I. & Dodd, B. G. (2013). A Comparison of Exposure Control Procedures in CATs Using the 3PL Model. Educational and Psychological Measurement, 73(5), 857 – 874.
McClarty, K. L., Sperling, R. A. & Dodd, B. G. (2006). A variant of the progressive-restricted item exposure control procedure in computerized adaptive testing systems based on the 3PL and partial credit models. Annual meeting of the American Educational Research Association 2006, 7-11 April 2006. San Francisco, CA: AERA.
Patsula, L. N. (1999). A comparison of computerized-adaptive testing and multi-stage testing. Unpublished doctoral dissertation, University of Massachusetts, Amherst.
Promsit, P. (2012). A Study of Efficiency of Multidimensional Computerized Adaptive Testing. Doctor of Philosophy Thesis in Educational Measurement and Evaluation, Graduate School, Khon Kaen University.
Sympson, J. B. & Hetter, R. D. (1985). Controlling item-exposure rates in computerized adaptive testing. Proceedings of the 27th annual meeting of the Military Testing Association. (pp. 973–977). San Diego, CA: Navy Personnel Research and Development Center.
Wang, S., Lin, H., Chang, H. & Douglas, J. (2016). Hybrid Computerized Adaptive Testing: From Group Sequential Design to Fully Sequential Design. Journal of Education Measurement, 53(1), 45-62.