评价量规设计对慕课同伴互评有效性的影响研究

欢迎引用:

范逸洲,冯菲,刘玉,汪琼.评价量规设计对慕课同伴互评有效性的影响研究[J].电化教育研究,2018,39(11):45-51.


同伴互评是MOOC常采用的学员作业评价方法,但是MOOC同伴互评的准确性和可靠性因学员知识水平程度差异过大而被质疑。为了研究如何通过改进评价量规来提高同伴互评的可靠性和准确性,在教师培训类MOOC"翻转课堂教学法"的两期教学中,我们进行了若干设计研究。研究发现,在教学培训类MOOC的同伴互评活动中,学生评分和教师评分高度相关。细化评分量规的等级描述,以及采用是非选择型的评价量规都能显著提高评分者间信度和评分效度,且评分者间信度与评分效度的差异度与学生所提交作业文档本身的质量也有关系。在研究发现的基础上,文章提出了MOOC同伴互评评价量规的设计原则和使用建议。

国家自然科学基金“MOOC数据模型及其对课程与学习评价的效用研究”(课题编号:61472013); 国家自然科学基金重点课题“面向课程的大规模在线教育资源组织与持续优化的理论与方法”(课题编号:61532001);

同伴互评; 评价量规; 设计研究; 评分者间信度; 评分效度; 量规设计原则;

10.13811/j.cnki.eer.2018.11.006

G434

研究框架

不同分数段作业在评分者间信度上的提高差异(三)是非选择型量规的评分稳定性可能更高

作业3和作业4的得分细节标准差散点图对比