Discrimination of performance tiers and prediction of success in introductory physics courses using a statistical method for establishing cutoff scores

Abstract

This study sheds light on the prediction of success using cutoff scores for student grades adopted for a required Physics pathway course for study in a health professions program at King Saud University in Saudi Arabia. Data on course grade and GPA for approximately 10,000 students enrolled in this course between 2008–2014, were analyzed. Receiver Operating Characteristic (ROC) curve analysis was used to determine cutoffs for course grades using ranges of GPA. This procedure has promise as a new method for quantitatively arriving at cutoff scores using an external criterion requiring less human judgment than most existing standard setting methods. The cutoff scores produced show that GPAs of students who complete the Physics course yield successive performance levels referred to as tiers, are lower than expected. In addition, the correlation between GPA and course grade for Physics is only 0.63 and therefore only 39% of the variation in GPA explains course grade. As a result of the findings of the study, the decision was made to maintain the existing standards thereby requiring higher grades in the Physics course for students seeking to enter a health professions course of study.

تسلط الدراسة الحالية الضوء على الدرجات الحدية وقدرتها التنبؤية على نجاح الطلبة في مقرر الفيزياء الاولي (فيز 145)، والذي يعد متطلبا اساسيا على طلبة التخصصات الصحية في جامعة الملك سعود بالمملكة العربية السعودية، وعلية فقد تم جمع البيانات المتعلقة بدرجات هذا المقرر لما يقارب من 10000 من الطلبة اللذين التحقوا بهذا المقرر بين الاعوام 2014-2008 م، ومعدلاتهم التراكمية. ولتحليل هذه البيانات، فقد تم استخدام منحنى خاصية تشغيل العمليات Receiver Operating Characteristic (ROC)  لتحديد الدرجات الحدية لنطاقات مختلفة من المعدلات التراكمية، حيث تعد هذه الطريقة من الطرق الكمية الحديثة للوصول الى الدرجات الحدية والحد من التأثير البشري. وعلية فان الدرجات الحديه التي تم الحصول عليها قد اشارت الى ان المعدلات التراكمية لمن اجتاز هذا المقرر كان ضمن نطاقات اقل من المتوقع، كما ان العلاقة الارتباطية بين المعدلات التراكمية ودرجات الطلبة بلغت 0.63 ، مما يعني ان %93 من التباينات في المعدلات التراكمية للطلبة يمكن ان تسهم في تفسير درجاتهم في ذلك المقر. ووفقا لما تم الحصول علية من نتائج يتبين اهمية المحافظة على معايير المقرر الحالية مع تأكيد حصول الطلبة الراغبين للالتحاق بالتخصصات الصحية على درجات مرتفعة في مقرر الفيزياء.