The Calculation Program Development of the Cut-off Score Based on the Angoff Concept by Applying the Item Response Theory
Article Sidebar
Main Article Content
Abstract
The purpose of this research was to develop a program to calculate the Cut-off score based onAngoff's concept by applying the item response theory, which the researcher has developed the program in the form of Web Application. The creation and development of the program had 6 steps: 1) system analysis; 2) design process and creating a database, 3) program development, 4) testing and improve the program, 5) program manual preparation, and 6) evaluating the suitability and effectiveness of the program by all programs written in PHP, HTML5, CSS, JavaScript, jQuery and Bootstrap for developing programs and using MySQL as a database system which evaluated the appropriateness of the program by 3 expert, and to evaluate the effectiveness of the program by the user which was the grade 6 teacher with a total of 40 people. Can access it at www.cutoffscoreforangoff.co. The research analyzed the level of suitability and opinions with basic statistics such as mean and standard deviation.
The research results revealed that appropriated evaluation of various aspects by using the Black Box Testing method of calculating Cut-off score based on Angoff's concept by applying the item response theory by experts with a high level of overall level. (M = 4.10, SD = 0.41)And the results of the evaluation of the program users, overall, the level of opinion was at a high level. (M= 4.50, SD = 0.62) Which was recognized by the experts and tried out the program, the ability of the program, and the accuracy of the program could be applied to real-effectively.
Article Details
References
เบญจมาภรณ์ เสนารัตน์, บุญชม ศรีสะอาด และจริยา ภักตราจันทร์. (2559). การพัฒนาโปรแกรมการประเมินความรู้ทางการวิจัยการศึกษาแบบปรับเหมาะด้วยคอมพิวเตอร์ออนไลน์ สำหรับนักศึกษาครู มหาวิทยาลัยราชภัฏในภาคตะวันออกเฉียงเหนือ. วารสารการวัดผลการศึกษา มหาวิทยาลัยสารคาม,22(1), 164-182.
ประภัสสร วงษ์ดี, สำราญ มีแจ้ง, รัตนะ บัวสนธ์และปกรณ์ ประจันบาน. (2555). การพัฒนาวิธีการกำหนดคะแนนจุดตัดเพื่อตัดสินความรอบรู้. วิทยาการวิจัยและวิทยาการปัญญา,10(1), 38-55.
พัชรีย่าเที่ยง. (2554). การพัฒนาโปรแกรมคลังข้อสอบและระบบวิเคราะห์ข้อสอบอัตโนมัติเพื่อเพิ่มประสิทธิภาพการประเมินผลการศึกษา. รายงานการประชุมวิชาการมหาวิทยาลัยกรุงเทพ.ณ มหาวิทยาลัยกรุงเทพ. 25 มีนาคม 2554. หน้า 728-735.
เสรี ชัดแช้มและปิยะทิพย์ ตินวร. (2550). การพัฒนาโปรแกรมคอมพิวเตอร์สำหรับประมาณค่าความเที่ยงของแบบทดสอบและแบบสำรวจ.วิทยาการวิจัยและวิทยาการปัญญา, 5(2), 103-117.
ศิริชัย กาญจนวาสี. (2550). ทฤษฎีการทดสอบแนวใหม่(พิมพ์ครั้งที่ 3). กรุงเทพฯ: โรงพิมพ์แห่งจุฬาลงกรณ์มหาวิทยาลัย.
ศิริชัย กาญจนวาสี. (2555). ทฤษฎีการทดสอบแนวใหม่(พิมพ์ครั้งที่ 4). กรุงเทพฯ: โรงพิมพ์แห่งจุฬาลงกรณ์มหาวิทยาลัย.
Barman, A. (2008). Standard setting in student assessment: Is a defensible method yet to come?.Annals Academy of Medicine Singapore, 37(11), 957-563.
Berk, R.A. (1986). A consumer’s guide to setting performance standards on criterion-referenced test. Review of Educational Research. 56(Spring), 137-172.
Bunderson, V. C., Inouye, D. K., & Olsen, J. B. (1989). The four generations of computerized educational measurement. In R. L. Linn (Ed.), Educational Measurement (3rd ed., pp. 367-407). New York: Macmillan.
Chapman, B. (2014). Angovianmethods for standard setting in medical education: can they ever be criterion referenced?.International Journal of Learning,Teaching and Educational Research, 4(1), 1-26.
Cizek, G.J., & Bunch, M.B. (2007). Standard Setting: A guide to establishing and evaluatingPerformance standard on tests. Thousand Oaks: SAGE Publications.
Elliott, G. (2004). Global Business Information Technology: An Integrated Systems Approach. Ontario: Pearson Addison Wesley.
Ferdous, A. &Plake, B. S. (2005). The use of subsets of test questions in an Angoff standard settingmethod. Educational and Psychological Measurement, 65(2), 185-201.
Gronlund, N.E. (1982). Construting Achievement Test. (3rd ed). Englewood Cliffs, New Jersey: Prentice Hall.
Hejri, S. M., & Jalili, M. (2014). Standard setting in medical education: Fundamental concepts and emerging challenges. Medical Journal of the Islamic Republic of Iran, 28, 34.
Jalili, M., Hejri, S. M., &Norcini, J. J. (2011). Comparison of two methods of standard setting: the performance of the three-level Angoff method. Medical education, 45(12), 1199-1208.
Kane, M.T. (1994). Validationg the performance standards associated with passing scores. Review ofEducational Research, 64(3), 425-461.
Kendall, K.E., & Kendal. (1992). System Analysis and Design. (2nded.). New Jersey: Prentice-Hall.
Khumyoo, T., Chadcham, S., &Chinnasarn, K. (2013). Diagnostic of English reading skill by applying the attributes hierarchy model and computerized adaptive testing. Research Methodology & Cognitive Science, 10(2). 55-70. (in Thai)
Olsen, J. B., & Smith, R. (2008). Cross validating modified Angoff and Bookmark standard setting for a home inspection certification. In annual meeting of the National Council on Measurement in Education, New York.
Plake, B.S. & Giraud, G. (1998). Effect of A Modified Angoff Strategy for obtaining Item Performance Estimate in a Standard Setting Study. Paper Present at The Annual Meeting of the American Educational Research Association, San Diego, California.
Shepard, L. (1994). Implications for standard Setting of the NAE Evaluation of NAEP Achievement Levels. Paper presented at the Joint Conference on Standard Setting for Large Scale Assessments. Washington: U.S. Government Printing Office
Smith, R. W., Davis-Becker, S. L., & O’Leary, L. S. (2014). Combining the best of Two Standard Setting Methods: the Ordered Item Booklet Angoff. Journal of Applied Testing Technology, 15(1), 18-26
Sukhanonsawat, S., Chadcham, S., &Chinnasarn, K. (2013). Development of the next item selection procedure using decision theory in computerized adaptive testing. Research Methodology & Cognitive Science, 10(2). 71-85. (in Thai)
Zieky, M. J., Perie, M., & Livingston, S. A. (2008). Cutscores: A manual for setting standards of performance on educational and occupational tests. New Jersey: Educational Testing Service.