何时使用什么-机器学习[关闭]

最近，在UPC /巴塞罗那的Oriol Pujol教授的机器学习课程中，他描述了用于各种机器学习相关任务的最常见算法，原理和概念。在这里，我与您分享它们并询问您：

• 是否有全面的框架将任务与与不同类型的机器学习相关问题相关的方法或方法相匹配？

如何学习简单的高斯？ 概率，随机变量，分布；估计，收敛和渐近，置信区间。

如何学习混合高斯（MoG）？可能性，期望最大化（EM）；概括，模型选择，交叉验证；k均值，隐藏马尔可夫模型（HMM）

我如何学习密度？参数与非参数估计，Sobolev和其他功能空间；ĺ2错误; 内核密度估计（KDE），最佳内核，KDE理论

如何预测连续变量（回归）？线性回归，正则化，岭回归和LASSO；局部线性回归 条件密度估计。

我如何预测离散变量（分类）？贝叶斯分类器，朴素贝叶斯，生成与区分；感知器，重量衰减，线性支持向量机；最近邻分类器和理论

我应该使用哪个损失函数？最大似然估计理论；l -2估计；贝叶斯估计 极小极大与决策理论，贝叶斯主义与频繁主义

我应该使用哪种型号？AIC和BIC；Vapnik-Chervonenskis理论；交叉验证理论；自举 大概近似正确（PAC）理论；霍夫廷定界

如何学习更高级的（组合）模型？整合学习理论；促进 套袋 堆放

如何学习更高级的（非线性）模型？广义线性模型，逻辑回归；Kolmogorov定理，广义加性模型；内核化，再现内核Hilbert空间，非线性SVM，高斯过程回归

如何学习更出色的（组合）模型？递归模型，决策树，层次聚类；神经网络，反向传播，深度信念网络；图形模型，HMM混合，条件随机字段，最大边距Markov网络；对数线性模型; 文法

如何减少或关联功能？特征选择与降维，特征选择的包装方法；因果性与相关性，偏相关性，贝叶斯网络结构学习

如何创建新功能？主成分分析（PCA），独立成分分析（ICA），多维缩放，流形学习，监督降维，度量学习

如何减少或关联数据？集群，双集群，约束集群；关联规则和市场篮子分析；排名/常规回归 链接分析；关系数据

如何处理时间序列？ARMA；卡尔曼滤波器和统计空间模型，粒子滤波器；功能数据分析；变更点检测；时间序列的交叉验证

如何处理不理想的数据？协变量移位 阶级失衡；数据丢失，采样数据不规则，测量误差；异常检测，鲁棒性

如何优化参数？无约束与约束/凸优化，无导数方法，一阶和二阶方法，后拟合；自然梯度 边界优化和EM

如何优化线性函数？计算线性代数，用于回归的矩阵求逆，用于降维的奇异值分解（SVD）

如何优化约束？凸性，拉格朗日乘数，Karush-Kuhn-Tucker条件，内点方法，用于SVM的SMO算法

如何评估深度嵌套的总和？精确的图形模型推论，总和的变化范围，近似的图形模型推论，期望传播

如何评估大笔款项和搜寻？广义N体问题（GNP），分层数据结构，最近邻居搜索，快速多重方法；蒙特卡洛积分，马尔可夫链蒙特卡洛，蒙特卡洛SVD

我该如何处理更大的问题？并行/分布式EM，并行/分布式GNP; 随机次梯度方法，在线学习

如何在现实世界中应用所有这些？机器学习部分的概述，在用于每个任务的方法，先验知识和假设之间进行选择；探索性数据分析和信息可视化；评估和解释，使用置信区间和假设检验，ROC曲线；机器学习的问题在哪里

我同意@geogaffer。确实，这是一个非常好的清单。但是，我认为此列表目前已制定，但存在一些问题。例如，一个问题是，建议的解决方案是不同的粒度级别 -他们中的一些代表的办法，一些- 方法，一些- 算法只是-和其他一些概念（换句话说，术语一个主题的领域的术语中）。另外，并且-我认为这比上述重要得多-如果列表中的所有解决方案都在统一的主题统计框架内安排，我认为这将是非常有价值的。这个想法的灵感来自阅读丽莎·哈洛（Lisa Harlow）的精彩著作《多元思维的本质》。因此，最近，我在StackExchange的交叉验证站点上发起了相应的讨论，尽管目前有所限制。不要让标题使您感到困惑- 如上所述，我的隐含意图和希望是建立一个统一的框架。

那是涵盖很多的好清单。自从任何东西被称为机器学习以来，我就已经使用了其中一些方法，并且我认为您会看到列出的某些方法随着时间的推移而使用和停用。如果某个方法失宠太久了，可能是时候重新考虑了。有些方法可能会混淆来自不同研究领域的不同名称。

我使用这些方法的主要领域之一是矿物势建模，它是地理空间的，为了支持您可以添加一些与空间和定向数据方法有关的其他类别。

将您的广泛问题运用于特定领域，可能会发现您没有在综合列表中找到更多方法示例。例如，我在矿物潜力中见过的两种方法是向后逐步回归和证据建模权重。我不是统计学家。也许这些将被认为包含在线性回归和贝叶斯方法下的列表中。

我认为您的方法有些落后。

“适合该数据的高斯分布的平均值是多少？” 从来都不是问题的陈述，所以“我如何适合高斯？” 从来都不是您真正要解决的问题。

区别不仅仅在于语义。考虑“如何构造新功能”的问题。如果您的目标是开发索引，则可以使用某种类型的因子分析。如果您的目标是在拟合线性模型之前简单地减少特征空间，则可以完全跳过该步骤，而使用弹性净回归。

更好的方法是编译您希望能够处理的实际数据分析任务的列表。像这样的问题：

我如何预测客户是否会返回我的购物网站？

我如何了解有多少种“主要”消费者购物模式，它们是什么？

如何为我的网上商店中的不同商品构建“挥发性”指数？

另外，您的清单现在包括大量材料；要进行“审查”并获得的知识远远超过了表面理解。牢记实际目的可以帮助您整理优先顺序。