Questions tagged «machine-learning»

我已经看到人们对SVM和内核进行了很多努力，并且它们作为机器学习的入门者看起来非常有趣。但是，如果我们期望几乎总能找到（深度）神经网络方面的出色解决方案，那么在这个时代尝试其他方法的意义是什么？ 这是我对此主题的限制。 我们只考虑监督学习；回归和分类。 结果的可读性不计算在内；只有在监督学习问题上的准确性才重要。 不考虑计算成本。 我并不是说其他​​任何方法都没有用。

33 machine-learning  svm  kernel-trick  supervised-learning 

有没有人看过关于深度卷积神经网络中的预训练的文献？我只在自动编码器或受限的Botzman机器上看到过无监督的预训练。

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

我有一个流数据集，示例一次可用。我需要对它们进行多类分类。一旦将培训示例提供给学习过程，我就必须放弃该示例。同时，我还使用最新模型对未标记的数据进行预测。 据我所知，神经网络能够通过一次提供一个示例并对该示例执行正向传播和反向传播来进行流学习。 SVM可以一次执行流学习一个示例并立即丢弃该示例吗？

33 machine-learning  svm  neural-networks 

我正在寻找一种解释，说明如何在梯度增强树中计算相对变量重要性，而这并不是过于笼统/过于简单： 度量基于选择变量进行拆分的次数，每次拆分后对模型的平方改进加权的权重并在所有树上取平均值。[ Elith等。2008年，增强回归树的工作指南 ] 那还不如： 一世2Ĵ^（T）= ∑t = 1Ĵ− 1一世2Ť^1 （vŤ= j ）一世Ĵ2^（Ť）=∑Ť=1个Ĵ-1个一世Ť2^1个（vŤ=Ĵ）\hat{I_{j}^2}(T)=\sum\limits_{t=1}^{J-1} \hat{i_{t}^2} 1(v_{t}=j) 其中求和在终端节点树的非终端节点上，是与节点相关的拆分变量，是平方误差的相应经验改进作为分割的结果，定义为，其中分别是左子代反应手段和右子代反应手段，而是权重的相应总和。J T v t t ^ i 2 t i 2（R l，R r）= w l w rŤŤtĴĴJŤŤTvŤvŤv_{t}ŤŤt一世2Ť^一世Ť2^\hat{i_{t}^2}一世2（R升，R[R）= w升w[Rw升+ w[R（y升¯- ÿ[R¯）2一世2（[R升，[R[R）=w升w[Rw升+w[R（ÿ升¯-ÿ[R¯）2i^2(R_{l},R_{r})=\frac{w_{l}w_{r}}{w_{l}+w_{r}}(\bar{y_{l}}-\bar{y_{r}})^2ÿ升¯，ÿ[R¯ÿ升¯，ÿ[R¯\bar{y_{l}}, \bar{y_{r}}w升，w[Rw升，w[Rw_{l}, w_{r}[ Friedman 2001，贪婪函数近似：梯度提升机 ] 最后，我没有发现统计学学习的内容（Hastie等人，2008年）对这里的学习非常有帮助，因为相关部分（第10.13.1页，第367页）的味道与上述第二篇参考文献非常相似（可以对此进行解释）因为弗里德曼是这本书的合著者）。 PS：我知道gbm R包中的summary.gbm给出了相对变量重要性度量。我试图探索源代码，但似乎找不到实际的计算位置。 布朗尼要点：我想知道如何在R中获得这些图。

33 machine-learning  data-mining  predictive-models  cart  boosting 

我知道HMM（隐马尔可夫模型）是生成模型，而CRF是判别模型。我也了解如何设计和使用CRF（条件随机场）。我不明白的是它们与HMM有何不同？我读到在HMM的情况下，我们只能在前一个节点，当前节点和转移概率上对下一个状态建模，但是在CRF的情况下，我们可以这样做，并且可以将任意数量的节点连接在一起以形成依赖关系或上下文？我在这里正确吗？

33 machine-learning  hidden-markov-model  natural-language  conditional-random-field 

在安德鲁·Ng的神经网络和深度学习课程Coursera他说，使用Ť 一个Ñ ħŤ一种ñHtanh几乎总是最好使用。š 我克米ø 我ds一世G米Ø一世dsigmoid 他给出的原因是，使用的输出以0为中心，而不是的为0.5，这“使下一层的学习变得容易一些”。Ť 一个Ñ ħŤ一种ñHtanhš 我克米ø 我ds一世G米Ø一世dsigmoid 为什么居中激活的输出速度学习？我假设他是在反向传播期间学习时发生的，是指上一层？ 还有其他使更可取的功能吗？陡峭的坡度会延迟消失的坡度吗？tanhŤ一种ñHtanh 在任何情况下，会更可取？sigmoids一世G米Ø一世dsigmoid 首选数学轻巧，直观的答案。

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

例如，在进行回归时，要选择的两个超参数通常是函数的容量（例如多项式的最大指数）和正则化量。我感到困惑的是，为什么不只选择一个低容量函数，然后忽略任何正则化？这样，它不会过拟合。如果我同时具有高容量功能和正则化功能，那是否与低容量功能和无正则化功能一样？

32 regression  machine-learning  optimization  regularization  polynomial 

我碰到了一篇使用链接异常检测来预测趋势主题的论文，并且发现它非常有趣：该论文是“通过链接异常检测在社交流中发现新兴主题”。 我想将其复制到不同的数据集上，但是我对如何使用它们的方法并不熟悉。假设我有六个月的一系列节点网络快照。节点具有长尾度分布，大多数节点只有几个连接，而有些则有很多。新节点将在此时间段内出现。 我如何实现本文中使用的顺序折算归一化的最大似然计算来检测我认为可能是爆发的先兆的异常链接？还有其他更合适的方法吗？ 我在理论上和实践上都在问。如果有人可以指出我用python或R实现该方法的方法，那将非常有帮助。 任何人？我知道你们那里的聪明人有一些开始思考的答案，

32 time-series  machine-learning  outliers  python  change-point 

在Python中是否有流行的条件随机字段实现？ 我似乎找不到广泛使用和流行的任何东西！

32 machine-learning  classification  python  conditional-random-field 

我是神经网络的新手，但是对理解它们非常感兴趣。但是，开始并不容易。 谁能推荐一本好书或其他任何资源？有必读吗？ 我很感谢任何小费。

32 machine-learning  neural-networks  references 

如何使用SVM获得变量（属性）的重要性？

32 machine-learning  feature-selection  svm 

我一直在研究回归问题，其中输入是图像，标签是80到350之间的连续值。图像是发生反应后的某些化学物质。原来的颜色表示剩余的另一种化学品的浓度，这就是模型要输出的-该化学品的浓度。图像可以旋转，翻转，镜像，并且预期的输出应该仍然相同。这种分析是在真实的实验室中完成的（非常专业的机器使用颜色分析来输出化学药品的浓度，就像我正在训练该模型一样）。 到目前为止，我仅试验了大致基于VGG（conv-conv-conv-pool块的多个序列）的模型。在尝试使用较新的体系结构（Inception，ResNets等）之前，我想研究一下是否存在其他更常用的图像回归体系结构。 数据集如下所示： 该数据集包含约5,000个250x250样本，我将其大小调整为64x64，因此训练更加容易。一旦找到有前途的体系结构，我将尝试更大分辨率的图像。 到目前为止，我的最佳模型在训练集和验证集上的均方误差约为0.3，这在我的用例中还远远不能接受。 到目前为止，我最好的模型如下所示： // pseudo code x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = maxpool(x, size=[2,2], stride=[2,2]) x = conv2d(x, filters=64, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=64, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=64, kernel=[3,3])->batch_norm()->relu() x = maxpool(x, size=[2,2], stride=[2,2]) x …

32 regression  machine-learning  neural-networks  conv-neural-network  tensorflow 

我对Andrew Ng在Coursera上关于机器学习的线性回归讲座感到有些困惑。在那里，他给出了一个成本函数，该函数将平方和最小化为： 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 我知道1212\frac{1}{2}来自。我认为他这样做是为了使他在平方项上执行导数时，平方项中的2将被一半抵消。但我不知道来源。1m1m\frac{1}{m} 为什么我们需要做？在标准线性回归中，我们没有它，我们只是将残差最小化。为什么在这里需要它？1m1m\frac{1}{m}

31 regression  machine-learning  loss-functions 

“深度学习”只是多层次/层次建模的另一个术语吗？ 我比后者更熟悉后者，但是据我所知，主要区别不在于它们的定义，而是它们在其应用程序域中的使用和评估方式。 看起来，典型的“深度学习”应用程序中的节点数量更多，并且使用通用的层次结构形式，而多级建模的应用程序通常使用层次结构关系来模仿正在建模的生成过程。在应用统计（层次建模）域中使用通用层次结构将被视为现象的“不正确”模型，而对特定领域的层次结构进行建模可能被视为颠覆了制造通用深度学习机器的目标。 这两件事是否真的是同一台机器，但使用两种不同的名称，以两种不同的方式使用？

31 machine-learning  multilevel-analysis  hierarchical-bayesian  deep-learning 

我有一个四层的CNN，可以使用MRI数据预测对癌症的反应。我使用ReLU激活来引入非线性。列车精度和损耗分别单调增加和减少。但是，我的测试准确性开始出现剧烈波动。我尝试过更改学习率，减少层数。但是，这并不能阻止波动。我什至阅读了这个答案，并尝试按照该答案中的说明进行操作，但是再没有碰运气了。谁能帮我弄清楚我要去哪里错了？

31 machine-learning  python  deep-learning