如何订购或排列一组专家?


11

我有一个数据库,其中包含一个领域的大量专家。对于每个专家,我都有各种属性/数据点,例如:

  • 多年的经验。
  • 执照
  • 评论数量
  • 这些评论的文字内容
  • 这些评论中的每条评论均获得5星评分,其中包括速度,质量等诸多因素。
  • 奖项,协会,会议等

我想根据他们的重要性给这些专家说10分。一些专家可能缺少一些数据点。现在我的问题是如何提出这样的算法?谁能指出我一些相关的文献?

我也担心,与所有评分/评论一样,该数字可能会在一些值附近聚集。例如,其中大多数可能最终得到8或5。是否有一种方法可以仅将某些属性突出显示小差异,使得分差异更大。

我认为其他一些讨论可能是相关的:


除非您达到一些客观标准,否则就无法做到。可能大多数可能的额定值可以通过参数的组合来构造。

Answers:


12

人们发明了许多系统,可以根据多种标准对事物(例如专家)进行评级:访问Wikipedia页面上的多准则决策分析以获取列表。但是,那里没有被很好地代表的方法是那里最可辩护的方法之一:多属性评估理论。 这包括一组评估标准之间的权衡的方法,以便(a)确定重新表达各个变量的值的适当方法,以及(b)对重新表达的值进行加权以获得得分以进行排名。原理很简单,也很容易辩护,数学是无可指摘的,理论也没什么花哨的。更多的人应该知道和实践这些方法,而不是发明任意的计分系统。


您知道使用R包进行此操作吗?
user333 2011年

3
@user不,我怀疑有一个。顺便说一句,这里没有神奇的软件项目符号:几乎所有工作都涉及对问题进行思考,并以可控的方式探索具体的取舍。
ub

3

最终,这可能不仅仅是统计工作。PCA是一种非常强大的定量方法,可让您在可用于排名的前几个主要成分上生成分数或权重。但是,解释主要成分是非常具有挑战性的。它们是定量结构。他们不是辩证的。因此,有时无法解释它们的真正含义。如果您的听众不是定量的,则尤其如此。他们不会知道您在说什么。并且,会将您的PCA视为一些神秘的黑匣子。

取而代之的是,我将所有相关变量简单地排列起来,并根据人们认为的权重应该使用权重系统。

我认为,如果为外部人员,客户,用户开发此功能,则可以嵌入决定用户权重的灵活性,那就太好了。
有些用户可能会珍视多年的经验,而不是认证。如果您可以将该决定留给他们。这样,您的算法就不会成为他们不理解并且不满意的黑匣子。您将其保持完全透明,并根据他们自己对重要问题的相对评估,由他们决定。


@Gaetan好吧,对于PCA,您必须找到合适的变量数字编码,例如“文本内容” ...
chl 2010年

这不是我要提出的问题。PCA可以按照您的建议处理伪变量。PCA如此强大和灵活。但是,真正要挑战的是对主要成分的解释。假设第一个主要部分是这样开始的:0.02年的经验-0.4的评论文字内容+ 0.01关联...也许您可以解释一下。专家的表现与多年的经验成正比,但与评论的文字内容成反比?看来很荒谬。但是,PCA通常确实会产生违反直觉的结果。
Sympa 2010年

@Gaetan仍然,我重申我的观点,问题出在您如何选择表示变量(或如何找到有用的指标)上。我同意您在处理非连续测量或数据类型混合时难以解释变量的线性组合的问题。这就是为什么我在另一条评论中建议寻找替代析因方法的原因。无论如何,基于用户偏好或专家评审(如在临床评估中所做的那样)制定评分规则也需要某种形式的统计验证(至少要确保评分的可靠性)。
chl 2010年

@Gaetan,是的,您的一些评论很有道理,您说对了,这不仅是一项统计工作,而且还涉及一些比较主观的要素,这是对的。原因是从用户/客户的角度来看意图可能有所不同。假设他正在寻找专家,那么我只是添加过滤器,以允许他选择> X多年经验的专家,依此类推。但是,假设他将范围缩小到2位专家,并希望进行独立比较。所以我只是在寻找一种比较任何两名专家的通用方法。
Sidmitra 2010年

2
+1指出这不是一项统计工作。充其量,PCA可以描述特定数据集内的关系,并且可以想象,通过识别近似共线性来简化数据。尚不清楚它如何告知我们如何对专家进行排名
ub

0

您认为您可以量化所有这些属性吗?

如果是,我建议进行主成分分析。在所有相关都是正的一般情况下(如果不是,则可以使用一些转换轻松达到该水平),第一个主成分可以被视为衡量专家总重要性的指标,因为它是加权的所有属性的平均值(权重将是变量的相应贡献-在这种情况下,方法本身将揭示每个属性的重要性)。每个专家在第一个主要部分中获得的分数就是您对他们进行排名所需要的。


1
这看起来不错,但是难道它不只是选择方差最大的属性和互相关属性的最大群集吗?

1
另外,可以进行多种对应分析多因素分析,混合数据(如果数值重新编码恰好是一些变量不太现实),和你的想法的其余部分(计算因子得分,并在第一维看着可变载荷的)应用也一样
chl

3
在我看来,第一个组成部分只是指出了专家之间共同性的强大方向。但是,它怎么可能告诉我们谁更好呢?这需要有关这些变量与成为“好”或“坏”专家的质量之间的关系的附加信息。如果我们认为所有变量都与优缺点单调相关,那么也许PCA可以帮助我们探索极端(或可能只是偏僻!)专家的前沿。但是要当心-即使单调性假设也是可疑的。
ub

1
@whuber我明白了,谢谢。也许您可以在自己的回复中添加它(非常受欢迎)?
chl
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.