天才一秒记住【畅想小说网】地址：http://www.cxtra.net
图5-22号评分员与项目的偏差分析
另外，运用SPSS软件对偏差显著的项目进行了统计，结果如表5-7所示。
分析结果显示第45题（教师督导与评价）显著偏差次数最多，比率最大，其次是第13题（健康）。
项目45教师督导与评价，主要反映幼儿园平常对教师工作督导与评价的频率、评价的方法和反馈方式等方面的状况。
仅凭评分员对班级一天的观察无法获得这些方面的信息，因而该项目主要依据对教师的访谈来获取相关信息；访谈的主观性与随意性、记忆和描述的模糊性，不同教师（幼儿园班级往往并不只有一位带班教师）反馈情况的不一致性等，都有可能对该项目评价的准确性造成影响。
项目13“健康”
，是从疾病预防和卫生习惯两方面进行测评。
其中疾病预防主要是测评托幼机构和教师在平常所采取的措施，评分所需的信息部分来自当天的现场观察，部分需要依赖对班级教师或保育员的访谈进行评分。
之所以存在较大的偏差，可能是因为评分信息来源的多样化以及这些信息之间的不一致，访谈对象的不确定性以及访谈信息的主观性和模糊性，都可能影响评分的准确性。
总之，从评分员与项目交互作用的显著偏差来看，需要在部分项目上对评分员进行有针对性的增强型培训，以便在有限的时间内对这些项目进行尽可能客观准确地观察测评；同时，也需要对易于出现偏差的项目在随后的修订中加以调整，减少对访谈方法的依赖，或者改进访谈设计，便于评分员获取相对真实可靠和精确的评价依据。
此外，有9个项目并不存在显著偏差，它们分别是：进餐、午睡休息、教学设计与组织、幼儿表现、美术、发展概念与推理、常规和纪律、活动指导和监护、家园沟通与合作。
这些项目有些是涉及一日生活环节，比如进餐与午睡休息，相对易于观察测评。
另一些项目涉及集体教学活动、区角游戏活动等。
由于这部分评价项目的内容界定相对比较清晰，可操作性强；再加上评分员的专业背景，对幼儿园的集体教学活动和区域游戏活动的环境、组织方式和过程相对熟悉，日常的观摩经验比较丰富。
因此，相比较而言，这部分的观察就会比较清晰，评分比较准确。
表5-7评分员与项目偏差显著的汇总
（五）讨论
托幼机构教育质量评价通常是多人参与的多维复杂评价活动，观察测评时间长、测评内容较多。
《量表》的使用要求评分员全天（大约6.5小时）在幼儿园班级内进行集中精力的观察测评。
由于受到疲劳程度、测评经验和专业水平等个体因素的影响，评分员是影响评分准确性的重要因素之一。
本研究采用MFRM模型对评分员宽严程度、评分员内部一致性、评分员与评价班级以及评价项目的交互作用等评分员偏差进行了分析。
1.评分员宽严程度的影响
MFRM采用评分员宽严程度指标来区分评分过于严格或过于宽松的评分员。
评分很宽松（或很严格）的评分员意味着班级获得高分（或低分）的可能更大。
MFRM分析结果显示，28名评分员宽严程度存在显著性差异。
有研究表明，评分员的个体特征，如对评价内容相关知识的熟悉性是影响评分员偏差的因素之一。
[37]或许这些评分员的性格特征或行为风格（如一丝不苟还是机动灵活）、专业态度（如严谨、认真还是随意、应付）、相关学科知识的储备量是导致部分评分员评分较严或较宽松的重要影响因素。
建议将来在评分员选择方面，首先考虑有相关学科知识背景的；在培训工作中，强调评价工作的专业态度和精神；在观察评价过程中，通过动态抽检，及时识别评分误差较大的评分员并分析原因，及时进行反馈调整。
这些举措或许能够在一定程度上减少因评分员个体特征造成的评分过于严格或过于宽松的问题，从而提高测评的准确性。
评分员内部一致性指某评分员对其所测评的班级、项目是否采用相同的测评标准。
MFRM模型fit估计值显示25位评分员的内部一致性较好，3位评分员自身内部一致性较差。
MFRM软件提供的非期望反应结果显示，两位评分员在几个班级、几个项目上出现了非期望测评结果。
结果表明，出现期望反应的班级没有共同的特征，项目上也没有某些共同属性，托幼机构物质环境和教育过程性的评价项目均有可能出现偏差。
出现这些非期望测评结果主要还是因评分员对这些测评项目的内容理解不透彻，对复杂现场情境的评分时机或评分尺度把握不准，难以进行准确测评。
依据这些分析结果，我们建议在将来的评分员培训中，对于较为抽象的内容应进一步明晰概念、增加实例和模拟测评机会，针对专业背景不同或者实际经验缺乏的评分员，应增加观察测评策略和技巧的培训，提高培训的有效性。
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！