哪一种(如果有的话)机器学习算法被认为是可解释性和预测之间的良好折衷?


9

描述诸如梯度增强机器或神经网络之类的算法的机器学习教科书经常评论说这些模型擅长预测,但这是以丧失可解释性或可解释性为代价的。相反,单决策树和经典回归模型被标记为擅长解释,但是与更复杂的模型(例如,随机森林或SVM)相比,(相对)较差的预测准确性。是否存在公认的代表两者之间良好权衡的机器学习模型?是否有任何文献列举算法的特征以使它们可以解释?(此问题以前是在交叉验证中提出的)

Answers:


3

是否有任何文献列举算法的特征以使它们可以解释?

我知道的唯一文献是Ribero,Singh和Guestrin 最近发表的论文。他们首先定义了单个预测的可解释性:

通过“解释预测”,我们表示呈现文本或视觉工件,从而提供对实例组件(例如,文本中的单词,图像中的补丁)与模型的预测之间的关系的定性理解。

作者进一步阐述了这对于更具体的示例意味着什么,然后使用此概念定义模型的可解释性。他们的目标是尝试并人工地为不透明的模型添加解释性,而不是比较现有方法的解释性。无论如何,本文都可能会有所帮助,因为尝试围绕“解释性”概念引入更精确的术语。

是否存在公认的代表两者之间良好权衡的机器学习模型?

我同意@Winter的观点,可以将弹性网(不仅用于逻辑回归)看作是预测准确性和可解释性之间取得良好折衷的一个示例。

对于不同类型的应用程序域(时间序列),另一类方法也提供了一个很好的折衷方法:贝叶斯结构时间序列建模。它继承了经典结构时间序列建模的可解释性,并继承了贝叶斯方法的一些灵活性。与逻辑回归相似,可解释性通过建模所使用的回归方程式得到帮助。请参阅本文,以获得在市场营销中的良好应用和更多参考。

与刚才提到的贝叶斯上下文有关,您可能还需要查看概率图形模型。它们的可解释性不依赖于回归方程,而是依赖于图形化的建模方式。有关出色的概述,请参见Koller和Friedman撰写的“概率图形模型:原理和技术”。

我不确定我们是否可以将上述贝叶斯方法称为“通常公认的良好折衷”。为此,它们可能还不够为人所知,尤其是与弹性网示例相比。


现在,我有更多的机会考虑Ribeiro等人的链接论文,我想说的是,第2节“解释的案例”包含了对“解释性”的有用定义,并且做了概述其重要性的体面工作,因此,值得在数据科学界广泛阅读。
罗伯特·德格拉夫

尽管我的问题的前提在简历上不被接受,但@SeanEaster通过这个有用的链接为我提供了帮助:jstage.jst.go.jp/article/bhmk1974/26/1/26_1_29/_article
Robert de Graaf

3

是否存在公认的代表两者之间良好权衡的机器学习模型?

我认为,通过善于预测,您的意思是能够拟合数据中存在的非线性,同时对过度拟合具有相当强的鲁棒性。可解释性与能够预测这些非线性之间的权衡取决于数据和所提出的问题。在数据科学中,确实没有免费的午餐,而且没有一种算法可以被认为是适用于任何数据集的最佳算法(对于可解释性也是如此)。

一般规则应该是,您知道的算法越多,对您越有帮助,因为您可以更轻松地满足特定需求。

如果必须为我经常在商业环境中使用的分类任务选择最喜欢的对象,那么我将为弹性回归选择弹性网。尽管对生成数据的过程有很强的假设,但由于正则化术语保持了基本逻辑回归的可解释性,因此可以轻松地将其应用于数据。

是否有任何文献列举算法的特征以使它们可以解释?

我建议您选择一本写得很好的书,其中描述了常用的机器学习算法以及不同情况下的优缺点。这样的书的一个例子可以是T. Hastie,R。Tibshirani和J. Friedman 撰写的《统计学习的要素》


3
TBH是我对确切的文本感到沮丧-它在不同的模型上多次使用“可解释”一词,在一个阶段说“ ...数据挖掘应用程序需要可解释的模型。仅仅产生预测是不够的(第10.7节),而我却无法找到有关如何识别可解释模型的材料-这引发了问题。尽管我过去和现在都不愿意批评这样一个备受推崇的文本。同样,TIbshirani在介绍LASSO的论文中将“可解释”列为其优点之一,而没有说什么是“可解释”。
罗伯特·德格拉夫

1

可能会看到对合奏的不合理有效性的回答,以及对解释与预测的权衡。最小消息长度(MML,Wallace,2005年)从数据压缩的角度给出了解释的正式定义,并激发了这样的期望,即解释通常适合而不过度拟合,并且良好的解释会产生良好的,可概括的预测。但这也触及了为什么合奏能够更好预测的形式理论-可以追溯到(Solomonoff 1964)关于最优预测和完全贝叶斯方法固有的结果:在后验分布上积分,而不仅仅是选择均值,中位数,或模式。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.