再说Kappa

使用属性一致性分析对多个检验员给出的名义或顺序评级的一致性进行评估。测量值是人员给出的主观评级，而不是直接的实际测量值。在这些情况下，难以定义和评估质量特征。要获得有意义的分类，应由多个检验员对响应度量进行分类。如果检验员意见一致，则评级有可能准确。如果检验员意见不一，则评级的有效性有限。

我们通过Kappa来衡量这个测量系统的有效性，针对顺序评级，如果没有标准，如下列结果
评级 的属性一致性分析

检验员之间

评估一致性

# 检  # 相            95 % 置信区
验数  符数  百分比        间
  15     6   40.00  (16.34, 67.71)

# 相符数: 所有检验员的评估一致。


Fleiss Kappa 统计量

响应     Kappa  Kappa 标准误        Z  P(与 > 0 )
-2    0.680398     0.0816497   8.3331      0.0000
-1    0.602754     0.0816497   7.3822      0.0000
0     0.707602     0.0816497   8.6663      0.0000
1     0.642479     0.0816497   7.8687      0.0000
2     0.736534     0.0816497   9.0207      0.0000
整体  0.672965     0.0412331  16.3210      0.0000


Cohen 的 Kappa 统计量

要计算 Kappa，必须具有两个检验员，每个检验员进行一个试验。


Kendall 的一致性系数

    系数     卡方  自由度       P
0.966317  67.6422      14  0.0000

* 注 * 每个检验员内的单一试验。未标绘检验员内的评估一致性百分比。

我如何判定这个测量系统的有效性？