相关性和因果关系在何种程度上与Google相关？

21

语境

这个站点上一个普遍的问题是“ 什么是常见的统计罪过？ ”。提到的罪过之一是假设“相关暗示因果关系...” 链接

然后，在带有5个投票的评论中，建议：“ Google每年可赚取$ 65B，而无需关心差异。”

冒着过度分析轻巧内容的风险，我认为这可能是有益的讨论点，可以充实相关性和因果关系之间的区别以及该区别的实际相关性。也许可以突显有关机器学习之间的关系以及相关性与因果关系之间的区别的一些信息。

我假设此评论所针对的技术是生成搜索引擎结果和与广告展示相关的技术的基础。

题

相关性和因果关系在多大程度上与Google的创收相关，也许特别关注通过广告展示相关技术和高质量搜索结果来创收？

machine-learning causality

— 杰罗米·安格利姆
source

这很有趣，我早些时候在看那条评论。

— Iterator

2

Revolutions博客上周发表了一篇关于Google如何使用R使在线广告更有效的文章。不幸的是，他们没有做太多细节...

— nico

13

简单的答案是，Google（或任何人）应该在打算干预的范围内关注区别。因果知识告诉您有关给定领域中的干预措施（行动）的效果。

例如，如果Google希望提高广告的点击率，增加GMail或Google+的用户数量，或诱使用户使用Google而不是Bing，则他们需要了解潜在操作的效果（例如，增加广告的字体大小，在印刷杂志上宣传Google+或分别宣传Google和Bing搜索结果之间的差异）。关联性足以使Google的搜索引擎正常运行，但是对于其他系统（以及整个业务）而言，区别通常很重要。

值得注意的是，Google（以及许多从事基于网络业务的公司）一直在进行在线实验。这是识别和估计因果关系的最简单，最佳方法。

— 大卫·詹森
source

（+1），只要预测变量a）相关且b）允许正确预测未来结果，就不必在乎因果关系。

— steffen 2011年

2

我们正在进入复兴行为科学实验研究的时代。在1950年代，几乎所有的统计学研究都是实验性的，并应用于农业。但是在1980年代左右，人们已经认识到这些技术对观测数据没有多大帮助，而这是大多数社会科学所能做的。现在，至少在在线营销研究中，如果您是Amazon或Google或Bing，则可以进行实验并获得最清晰的因果推理形式。

— StasK 2011年

@StasK，考虑到样本量，即使是“简短”的实验，也可能会产生非常有用的结果。一定是宝藏。

— 布兰登·贝特尔森

有趣的是，Google的“群组”功能确实非常差。有点像他们建立了与良好讨论相关的小组讨论工具，但是他们还没有弄清楚导致小组讨论工具变好的原因。但这是市场营销中的常见问题-竞争产品的所有功能经常被复制而没有了解这些功能的潜在动机。

— Daniel R Hicks，

1

@StasK：现实世界可能不如您在这里假装的理想。我同意实验是进行因果推断的好工具。但是，实验也会引发特定的问题。有时，通过观察性研究而不是实验来进行因果推断可能会更好。一种批评可能是在某种意义上说，受控实验的结果可能会被推广到“真实的现场”环境中。一些作者称此为“外部有效性”。

6

首先，它只是一个玩笑而已，是不正确的。Google有很多非常有才华的统计学家，信息检索专家，语言学家，经济学家，一些心理学家等等。这些人花费大量时间来教育许多非统计学家，以了解相关性和因果关系之间的差异。鉴于这是一个大型组织，可能会有很多人无知，甚至有很多人无知，但断言绝对是错误的。此外，很多教育都面向客户，尤其是广告客户。

更深入的回答：差异非常重要。仅查看搜索结果的排名，就可以让我扩展到不仅仅是“相关性”，还包括相似性，评分功能等度量。某些页面被认为是某些查询的良好结果。这些具有多种预测器功能，这些功能对于其排名很重要。与这些对查询有好的结果的好页面相反，一组网页是对相同查询有非常差的结果的页面。但是，这些页面的创建者花了很多精力使它们从数字的角度看起来像好的页面。，例如文字比对，网际网路连结等等。但是，仅因为这些页面在数值上与好页面“相似”并不意味着它们实际上是好页面。因此，谷歌已经投资并将继续投入大量精力来确定哪些合理的功能可以区分（分开）好页面和坏页面。

这还不完全是相关性和因果关系，但要深得多。某些查询的好页可能会映射到一个数值空间，在这些数值空间中它们看起来相似且与许多不相关或不良的页不同，但是仅由于结果位于要素空间的同一区域中并不意味着它们来自相同的“高质量”子集在网络上。

更简单的答案：一个非常简单的观点是解决结果的排名。最好的结果应该是第一，但是仅仅因为某事物排名第一并不意味着它是最好的结果。通过某些评分指标，您可能会发现Google的排名与质量评估的黄金标准相关联，但这并不意味着它们的排名暗示着结果在质量和相关性方面确实是按此顺序排列的。

更新（第三个答案）：随着时间的流逝，还有另一个方面会影响我们所有人：这是Google排名最高的结果，可以认为是权威的，因为它是Google排名最高的结果。尽管链接分析（例如“ PageRank”（链接分析的一种方法））是一种反映感知权威性的尝试，但随着时间的流逝，主题上的新页面可能会通过链接到Google上的最高结果而简单地增强链接结构。相对于第一个结果，较权威的较新页面的开头部分存在问题。至于谷歌希望提供最相关的网页目前，有多种因素，其中包括所谓的“富得-富”的现象，出现由于相关的上认识到的因果一个隐含的效果。

更新（第四个答案）：我意识到（下面的评论）阅读柏拉图的《洞穴寓言》可能对了解如何解释现实的“反射/投射”以及相关性和因果关系以及如何使之有意义。我们（或我们的机器）感知到它。严格限制在Pearson的相关性中的相关性过于有限，不能解释误解性关联（比相关性更广泛）和因果关系。

— 迭代器
source

我不同意。如果有人滥用预测变量来创建虚假的高页面排名，则目标隐含了预测变量，这与Google在创建页面排名算法时的意图相反。由于真实指标保持不变（“正确的页面”，页面排名仅是近似值），因此预测变量会失去其相关性，因此必须进行更改。因此，谷歌不在乎真正的指标“正确的页面”的因果关系，而是大约一个称为页面排名的因果关系。

— steffen 2011年

没有冒犯，但您似乎对几个问题感到困惑。“ PageRank”是一个明确定义的概念，并且只是一个预测变量。您忽略的主要问题是定义和创建培训集以及满足用户期望所涉及的工业过程。不幸的是，这些评论是开始对应用机器学习进行长篇介绍的好地方。

— Iterator

您是说在通过专家知识生成和评估预测变量的过程中，仅生成“因果”预测变量吗？只要有人遵循这样的过程并且不退一步尝试和错误的方法，那么您就正确了，谷歌关心;）。

— steffen 2011年

你说得很对。问题在于，随着时间的流逝，当有对手挫败您时，试图找出反映因果关系的预测变量变得非常困难。如果预测变量没有某种因果关系的解释（因为它们本质上很少是真正的因果关系），则很难证明坏人何时演化并破坏了预测变量空间的该区域。

— Iterator

2

@布兰登：不开玩笑。当我尝试查找最近的事件或即将发生的事件时，这是最好的例证。为了获得相关页面，我越来越频繁地输入当前年份甚至当前的MM-YYYY（或进行高级搜索）。这是链接结构和新鲜度之间的折衷，如果没有我的帮助，Google就会出错。实际上，这使我不得不去Bing了几次，只是出于不理会旧页面而感到恼火。在SO上也是如此：首先，答案似乎往往比以后的答案获得更多投票，这可能更正确。:)

— Iterator

5

讽刺的作者在这里。

评论的部分灵感来自David Mease（在Google上）的一次演讲，他在讲话中说道。我的解释是，汽车保险公司不在乎男性是否会造成更多事故，只要与之相关，他们就必须收取更多费用。实际上，在实验中更改某人的性别是不可能的，因此根本无法显示原因。

同样，Google并不需要真正关心红色是否会使某人点击广告，如果与更多点击相关联，他们可以为该广告收取更多费用。

它的灵感也来自《连线：理论的终结：数据泛滥使科学方法过时》中的这篇文章。引用：

“ Google的创立理念是，我们不知道为什么该页面比那个页面要好：如果传入链接的统计数据表明确实如此，那就足够了。”

显然，Google有很多非常聪明的人知道因果关系和关联之间的区别，但是在这种情况下，他们可以赚很多钱而不必在意。

— 尼尔·麦圭根
source

1

详细说明...正如我所提到的，Google确实有很多人在乎它，就像David Mease一样。（顺便说一句，除非有我错过的消息，否则他不在斯坦福大学；也许您参加了他的2007年课程？）但是，您是对的，因为很多人都不知道内燃机的工作原理，这并没有影响他们的驾驶能力。优秀的汽车工程师和研究人员可以使它们更好地工作。对于Google的工程师和研究人员来说也是一样。不幸的是，《连线》这篇文章并不是Norvig论文的最清晰表达。

— Iterator

感谢Neil提供的内容。希望您不要介意我以您的评论作为问题的灵感。

— Jeromy Anglim

@jeromy，一点也不

— Neil McGuigan

1

我同意戴维（David）的看法：如果您打算进行干预，差异就很重要，Google可以通过运行受控实验来测试干预的结果。（此类实验的最佳时间表取决于您的因果假设集，您可以从先前的实验中获得这些因果假设以及观察数据，因此相关性仍然有用！）

Google可能想学习因果关系的第二个原因。因果关系对其他参与者的干预更为稳健。干预措施往往是局部的，因此它们可能会改变因果关系网络的一部分，而使所有其他因果关系机制保持不变。相反，如果远距离的因果关系中断，则预测关系可能会失败。互联网在不断变化，Google应该对在线环境中的哪些功能对这些变化更健壮感兴趣。

— 丽兹银
source