Questions tagged «machine-learning»

软件最终会使统计人员过时吗？不能编程到计算机上的操作已完成？

26 machine-learning  dataset  careers 

关于功能数量和训练“稳健”分类器所需的观察数量之间的关系，是否有任何论文/书籍/想法？ 例如，假设我有两个类的1000个要素和10个观察值作为训练集，而其他10个观察值作为测试集。我训练了一些分类器X，它在测试集上为我提供90％的灵敏度和90％的特异性。假设我对这种准确性感到满意，并据此可以说它是一个很好的分类器。另一方面，我仅使用10个点就近似了1000个变量的函数，这似乎不是很...稳健吗？

26 machine-learning 

关于支持向量机如何处理分类已经进行了精彩的讨论，但是我对支持向量机如何推广到回归感到非常困惑。 有人愿意启发我吗？

26 regression  machine-learning  svm 

我对神经网络的回归感兴趣。 具有零隐藏节点+跳过层连接的神经网络是线性模型。 相同的神经网络又有隐藏的节点呢？我想知道跳过层连接的作用是什么？ 直观地讲，如果您包括跳过层连接，那么最终模型将是线性模型+某些非线性部分的总和。 向神经网络添加跳过层连接有什么优点或缺点？

26 regression  machine-learning  neural-networks  deep-learning 

在我见过的VAE的几乎所有代码示例中，损失函数的定义如下（这是张量流代码，但是我看到theano，torch等类似。它也适用于卷积网络，但这也不太相关） ，仅影响轴的总和）： # latent space loss. KL divergence between latent space distribution and unit gaussian, for each batch. # first half of eq 10. in https://arxiv.org/abs/1312.6114 kl_loss = -0.5 * tf.reduce_sum(1 + log_sigma_sq - tf.square(mu) - tf.exp(log_sigma_sq), axis=1) # reconstruction error, using pixel-wise L2 loss, for each batch rec_loss = …

26 machine-learning  deep-learning  tensorflow  autoencoders  variational-bayes 

我想知道是否有任何算法可以同时进行分类和回归。例如，我想让算法学习一个分类器，同时在每个标签内，它也学习一个连续的目标。因此，对于每个训练示例，它都具有分类标签和连续值。 我可以先训练一个分类器，然后再在每个标签中训练一个回归器，但是我只是在想，如果有一种算法可以同时实现这两个功能，那就太好了。

25 regression  machine-learning  classification  predictive-models  finite-mixture-model 

我一直在想，为什么进行原理/理论机器学习如此重要？从个人的角度来看，我可以理解为什么有原则的机器学习如此重要： 人类喜欢了解自己在做什么，我们就会找到美丽和满足感。 从理论上讲，数学很有趣 当存在指导事物设计的原则时，花在随机猜测，怪异的试验和错误上的时间会更少。例如，如果我们了解神经网络是如何工作的，也许我们可以花更多的时间设计它们，而不是现在投入大量的试验和错误。 最近，如果原则很明确，理论也很明确，那么（希望）对系统更加透明。这很好，因为如果我们了解系统在运行什么，那么AI就有很多人大肆宣传的风险会立即消失。 原则似乎是总结世界可能具有的重要结构以及何时使用一种工具而非另一种工具的一种简洁方法。 但是，这些理由是否真的足以证明对机器学习进行深入的理论研究是正确的？对理论的最大批评之一是，由于很难做到，他们通常最终会研究一些非常有限的案例，或者必须提出的假设实质上使结果无用。我想我曾经在Tor的创造者在麻省理工学院的一次演讲中听到过这一点。他听到的对托尔的一些批评只是理论上的争论，但从本质上讲，人们却无法证明有关现实生活中真实场景的事物，因为它们是如此复杂。 在这个拥有如此强大的计算能力和数据的新时代，我们可以使用真实的数据集和测试集来测试我们的模型。我们可以通过经验主义来观察事物是否起作用。如果我们能够获得能够与工程学和经验主义相结合的AGI或系统，那么仍然值得为机器学习追求原理和理论上的证明，尤其是当量化界限如此难以实现时，而直觉和定性答案则更容易实现用数据驱动的方法来实现？这种方法在古典统计学中不可用，这就是为什么我认为理论在那个时代如此重要的原因，因为数学是我们可以确保事物正确的唯一方法，或者它们可以按照我们认为的方式实际起作用。 我个人一直很喜欢并且认为理论和原则性方法很重要。但是，凭借能够尝试使用实际数据进行处理的能力和计算能力，使我感到怀疑的是，理论追求的高努力（可能是低回报）仍然值得吗？ 机器学习的理论和原则追求真的那么重要吗？

25 machine-learning  neural-networks  conv-neural-network  theory 

我想在我的项目中使用深度学习。我浏览了几篇论文，然后想到一个问题：卷积神经网络和深度学习之间有什么区别吗？这些是相同的东西还是它们之间有主要区别，哪个更好？

25 machine-learning  neural-networks  deep-learning  terminology  conv-neural-network 

我最近一直在处理大型数据集，并发现了许多有关流方法的论文。仅举几例： 遵循规范的领导者和镜像后裔：等价定理和L1正则化（http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf） 流式学习：一次通过SVM（http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf） Pegasos：用于SVM的原始估计子GrAdient求解器http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf 还是在这里：SVM可以一次进行流学习一个示例吗？ 流随机森林（http://research.cs.queensu.ca/home/cords2/ideas07.pdf） 但是，我无法找到有关它们之间如何比较的任何文档。我读过的每篇文章似乎都针对不同的数据集进行了实验。 我知道sofia-ml，vowpal wabbit，但与大量现有方法相比，它们似乎执行的方法很少！ 不太常见的算法性能不够吗？是否有任何论文试图复习尽可能多的方法？

25 machine-learning  references  large-data  online 

在我见过的一些讲座和教程中，他们建议将您的数据分为三个部分：培训，验证和测试。但是尚不清楚应如何使用测试数据集，也不清楚这种方法比整个数据集的交叉验证如何更好。 假设我们已经将20％的数据保存为测试集。然后，我们将其余部分分解为k折，然后使用交叉验证，找到可以对该数据集中的未知数据做出最佳预测的模型。假设我们发现的最佳模型可为我们提供75％的准确性。 各种问答网站上的各种教程和许多问题都表明，现在我们可以在保存的（测试）数据集中验证模型。但是我仍然不知道它是如何完成的，也没有意义。 假设我们在测试数据集上的准确性为70％。 那么我们下一步该怎么做？我们是否会尝试另一个模型，然后再尝试另一个模型，直到我们在测试数据集上获得高分？但是在这种情况下，实际上看起来我们只会找到适合我们有限的（仅20％）测试集的模型。这并不意味着我们会找到总体上最好的模型。 此外，如果仅根据有限的数据集计算该分数，我们如何将其视为模型的一般评估？如果该分数很低，则可能是我们很不幸并选择了“不良”测试数据。 另一方面，如果我们使用所拥有的所有数据，然后使用k倍交叉验证来选择模型，我们将找到对来自我们所拥有的整个数据集的未知数据进行最佳预测的模型。

25 machine-learning  cross-validation  validation 

众所周知，随机森林在各种任务上的表现都相当出色，被称为学习方法的皮匠。是否存在应避免使用随机森林的任何类型的问题或特定条件？

25 machine-learning  classification  random-forest 

我是德国大学的CS学硕士，现在写论文。如果要继续攻读博士学位或在该行业找到工作，我将在两个月内做出非常艰难的决定。 我做博士学位的原因： 我是一个非常好奇的人，我觉得我仍然缺乏太多知识。我想学很多东西，博士学位会为我提供帮助，因为我可以做更多的好课程并阅读大量论文，并成为数据挖掘和机器学习方面的专家。我喜欢数学，但是在本科（不好的大学）里并不擅长数学。现在在这个德国大学，我觉得我发展了很多很棒的数学技能，我想提高它，因为我真的很喜欢数学！（在本科生和一生中，我的数学真的很糟糕，但是现在我发现我的数学很好！） 我将处理具有智力挑战性的工作。 我需要说实话，我也不想看到其他人 比我更高学位的人。因此，如果我走进街上去见有博士学位的人，我不必说“哦，这个家伙比我聪明”。我宁愿站在另一边。;） 我不做博士学位的原因： 我在互联网上读过关于做博士学位还是不做博士学位的信息。我发现，在大多数情况下，拥有博士学位的人所做的工作与拥有硕士学位的人所做的工作相同。（这是计算机科学的普遍观察，而不是关于ML / DM）。 我可以开始职业生涯并在1或2年内赚很多钱，然后我可能可以创办自己的公司。 还不清楚的是： 我仍然不知道最终我的最终目标是什么。有一家著名的小公司吗？还是成为著名科学家？我仍然没有这个问题的答案。 为了帮助我做出决定，我想知道两件事： 拥有行业硕士学位的数据科学家/机器学习者的工作感觉如何？你做什么样的工作？尤其是当我以机器学习科学家的身份在亚马逊上阅读这些广告时，我总是想知道它们的作用。 与以前相同的问题，但有博士学位。您做的事情与大师不同吗？ 我要应对具有挑战性的有趣问题吗？还是一些无聊的东西？ 稍微说明一下：我见过一个拥有机器学习博士学位的人（在德国），并且在一家致力于推广机器学习软件的公司中工作。据我了解，他的大部分工作是训练人们使用方法和软件（决策树等）。 如果我能从一些著名的优秀公司中获得有关德国/瑞士的经验的答案，那就太好了。

25 machine-learning  data-mining  careers 

该问题是从Stack Overflow 迁移而来的，因为可以通过交叉验证来回答。 迁移 7年前。 我正在尝试学习神经网络如何在图像识别上工作。我看过一些例子，变得更加困惑。在20x20图像的字母识别示例中，每个像素的值成为输入层。因此有400个神经元。然后是神经元的隐藏层和26个输出神经元。然后训练网络，然后工作，并不完美。 我对神经网络感到困惑的是，它如何了解图像中的内容。您无需进行阈值，分割或测量，网络就可以通过某种方式学习比较图像并进行识别。现在对我来说就像魔术。从哪里开始学习神经网络？

25 machine-learning  neural-networks  image-processing 

我想知道在CrossValidated社区中的贝叶斯主义者如何看待模型不确定性问题，以及他们希望如何处理它？我将尝试分两个部分提出我的问题： （根据您的经验/观点）处理模型不确定性有多重要？我在机器学习社区中没有找到任何有关此问题的论文，所以我只是想知道为什么。 处理模型不确定性（奖励点，如果提供参考）的常用方法是什么？我听说过贝叶斯模型平均，但是我不熟悉这种方法的特定技术/局限性。还有哪些？为什么您偏爱另一个？

25 machine-learning  bayesian  model-selection 

除了明显的分类器特征，例如 计算成本， 功能/标签的预期数据类型和 适用于某些大小和尺寸的数据集， 首先对一个尚不十分了解的新数据集（例如语义和各个特征的相关性）首先尝试的前五个（或10、20？）分类器是什么？通常，我尝试使用朴素贝叶斯，最近邻居，决策树和SVM-尽管我没有充分的理由选择此选项，但我了解它们并主要了解它们的工作原理。 我猜应该选择涵盖最重要的通用分类方法的分类器。根据该标准或其他任何原因，您会推荐哪种选择？ 更新：针对该问题的另一种表述可能是：“存在哪些通用的分类方法，哪些特定方法涵盖了最重要/最受欢迎/有希望的方法？”

25 machine-learning  classification  methodology