天才一秒记住【畅想小说网】地址:http://www.cxtra.net
在上面的公式中,正如接下来要讨论的,σ2r是评分员效应的变异成分,σ2rc,e是评分员和班级之间交互效应的方差分量以及残差。
但是考虑到嵌套设计,不可能把评分员效应和评分员与班级的交互作用相分离,这两个效应和残差被混淆在σ2r:c之下。
对于获得绝对决断概化系数φ这一目的而言,这种混淆是没问题的,因为这两种效应已经被σ2r:c包含。
表5-2原测量情境下D研究结果
在表5-2中,每个φ系数是真值方差和总方差的比值。
φ系数是每个量表的标准参照解释的信度估计系数(即“绝对决断”
)。
φ系数值越大,测量精度越高。
[25]从表5-2中我们可以看到,当两个评分员处于一个班级时,所有子量表的最低信度为0.9172(子量表人际互动),而子量表空间与设施信度最高(φ=0.9674)。
在子量表水平上,这些数值显示了较高的评分者间一致性。
此外,总的φ=0.9724(表5-2中没有显示),表明整个量表有非常高的测量信度。
信噪比(SN)是“真正的得分”
方差(σ2c)与错误方差(σ2r:r)之比。
例如,子量表课程计划与实施的SN为15.8281,这意味着“真正的分数”
方差比误差方差大约15倍。
(2)测量情境条件改变的D研究结果
托幼机构教育质量的测评是一个非常艰巨、耗时的过程。
为了探索更好的测评方案,我们需要考虑一系列假设的情境,也就是说,在量表使用中,评分员的数量是如何影响测量信度的。
这个过程让我们在测量要求(信度等)和实际考虑(评分员数量、成本效率等)之间保持平衡。
在假设的场景中,我们为每个班级设置1~5名评分员。
在D研究中,使用不同数量评分员的场景来判断评分员数量的变化对《量表》使用的信度影响。
图5-1以图形方式呈现这些假设场景的结果,目的是检验使用不同数量的评分员对《量表》总体及其8个子量表的绝对测量信度估计值(φ)的影响。
如图5-1所示,所有子量表的概化信度系数都在0.8以上,甚至仅使用一个评分员也如此。
这表明,《量表》的信度在托幼机构教育质量评估中通常是良好的;当然,不同子量表的概化信度系数存在差异。
更多相关的模式如图5-1所示,理论上预期的信度估计随着评分员数量的增加而增加。
然而,图中显示更有趣的信息是(同一个班级中)一位评分员与两位评分员之间的曲线最陡,信度水平增加幅度最大。
多于两个评分员的场景中,φ系数值增加逐渐变得平缓,进一步增加评分员的数量反而导致“边际效益递减”
。
更具体地说,从使用一个评分员到五个评分员信度全面提高,其中从一个评分员到两个评分员,信度提高幅度约占总数的60%。
在这之后,改进的百分比分别是20%(从2个到3个评分员),10%(从3个到4个评分员)和6%(从4个到5个评分员)。
依据信度提升的这一模型,研究者建议,在使用《量表》进行托幼机构教育质量评价的过程中,一个班级安排两个评分员可能会被认为是兼顾测量信度和成本效率的最优测评方案(在成本可接受的情况下获得了较为理想的测量信度)。
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!