一个人如何主观排名的结果?


17

我正在寻找一种可视化主观排名的方法,与我的非参数测试分开。

我已经请12名参与者根据不同的主观标准对8个不同的项目进行排名(每个项目分别进行排名)。对于任何单独的排名,我都在寻找一种可视化排名高级趋势的好方法。

我已经在平均排名上尝试了条形图和雷达图,而且我看到另一个人在每个排名的响应数上使用了散点图/气球图,但是我不确定是什么传达了最好的概观。我可以使用8个平均排名,也可以使用每个项目的每个排名的8个计数。

编辑:

例如:每列是一个项目,每行是一个人对八个项目中每个项目的排名。在此示例中,并不是一个特别强的协议,但总的来说,我们希望了解传达总体趋势的最佳方法。

                        Item:
            A   B   C   D   E   F   G   H
Rater:  
  1         6   8   1   7   3   4   2   5
  2         1   3   8   7   6   5   2   4
  3         5   8   7   6   1   4   2   3
  4         5   8   7   6   4   2   1   3
  5         1   2   8   7   4   3   5   6
  6         1   7   8   5   6   2   4   3
  7         5   1   8   4   7   3   6   2
  8         4   2   8   7   6   1   5   2
  9         6   3   8   4   7   1   5   2
  10        3   2   8   7   4   1   5   6
  11        2   3   7   8   1   5   4   5
  12        8   5   6   7   2   3   1   4

如果您可以列出一些数据可能会有所帮助。另外,您可能会使用什么软件?
gung-恢复莫妮卡

我添加了一个示例矩阵,很可能会在Excel中进行绘图。
杰西2012年

您是否要显示商品等级或评估者之间的协议(或两者)?
ub

1
我是在特别询问商品的等级,但是除了Kendall的W之外,是否还有其他方法可以显示评分人之间的协议,这也更好。
杰西(Jesse)

您可以绘制每列的经验CDF。这看起来像(完全混乱的)ROC曲线。不过,不确定执行此操作会跳出什么。
shabbychef 2012年

Answers:


8

我为可视化相似的排名做了类似的事情。我使用的方法让我快速了解了排名的相关性,仅此而已。我的解决方案使用Excel 2010迷你图来创建排名的倍数视图(这可以在其他Excel版本中完成,但需要更多工作)。另外,我通常使用Excel的Table功能只是为了加快进度。

  1. 转置矩阵,使行包含每个额定项目的所有值。
  2. 如果排名1最好,则将您的排名倒置为1 = 8,2 = 7 ...这将帮助您更好地可视化图表的列(而不是空白)。
  3. 对每个问题的评分者的结果求和。然后按总数排序。这会将具有最高综合评分的项目放在首位,将综合评分最差的项目放在最后。当总体模式可能不明显时(如示例数据中的情况),此排名将帮助您直观地对图表进行排名。
  4. 使用数据表旁边的排名数据(无合计列)插入迷你图。从视觉上看,条形越多/越大,总体排名就越高。

关于这种方法,没有什么特别的分析方法,但这是一种可视化数据的快速方法。

主观排名

请注意,如果没有Excel 2010,则可以为每行看起来大致相同的单元格创建精简的柱状图。或者,您可以使用第三方加载项来创建它们。

编辑:表格和图表利用Gung的建议进行平均测量。正如指出的那样,由于比例尺相似,因此将其添加到图表中作为附加的比较点(我使用灰色来帮助将其与原始数据图区分开来)。

在此处输入图片说明


3
+1,对于这种情况,这是一个非常好的简单解决方案。我的一个小建议是在步骤#3中使用平均值而不是总和。这实际上并不会改变任何东西,但是会将总数返回到原始比例,这可以使对值的解释更加容易。
恢复莫妮卡

@gung,感谢您的反馈。我认为使用平均值确实很好(如上所述)。我从不喜欢使用总计,但没有过多考虑作为一个很好的选择。
dav 2012年

2

我会以颠簸图的形式来做到这一点。看起来很杂乱,所以我会尝试使用颜色来帮助解决这个问题。

提示@dav的迷你图实际上不允许在产品之间进行比较。

在此处输入图片说明


我认为如果将点大小从8(最小)到1(最大)按相反顺序缩放,则此图表将非常有用。我认为趋势可能会更多地跳出。
布兰登·贝特尔森


1

我知道这个问题已有七年历史,并且看到发布者是AWOL,但我确实感谢包含数据的问题...

听起来产品评分趋势是各个评分者的问题而不是趋势。在这种情况下,您可以通过绘制每种产品的均值和置信区间来了解高级趋势。

在此处输入图片说明

至少我们可以看到C和D看起来比其他的差(假设8是最差的排名)。也许A,B和C的分歧更大。

如果各个评估者在传达中很重要,则可以为每个评估者的点使用不同的标记和颜色。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.