Questions tagged «machine-learning»

根据该深度学习教程，权重衰减（正则化）通常不应用于偏见项b为什么？ 它背后的意义（直觉）是什么？

14 machine-learning  neural-networks  bias  regularization 

我知道如何对一组点执行线性回归。也就是说，我知道如何将自己选择的多项式拟合到给定的数据集（从LSE的角度来看）。但是，我不知道的是如何迫使我的解决方案经过我选择的某些特定要点。我之前已经看过这件事，但是我不记得该过程叫什么，更不用说它是如何完成的了。 作为一个非常简单而具体的示例，让我们说我在xy平面上散布了100个点，我选择通过它们拟合任意阶多项式。我知道如何很好地执行此线性回归。但是，让我们说我想“强制”解决方案，例如，通过x坐标，和x = 89的三个数据点（及其对应的y坐标）当然）。x = 19 x = 89x = 3x=3x=3x = 19x=19x=19x = 89x=89x=89 这个通用程序叫什么，它是如何完成的，还有什么我需要注意的陷阱吗？ 编辑： 我想补充一点，我正在寻找一种具体的方法来做到这一点。我编写了一个程序，该程序实际上以两种方式之一进行线性回归，即直接或通过梯度下降来反转协方差矩阵。我要问的是，究竟是如何逐步地修改我所做的事情，以使多项式解经过特定点？ 谢谢！

14 regression  machine-learning  least-squares  linear-model  polynomial 

目前，我在MATLAB上使用RF工具箱进行二进制分类 数据集：50000个样本和250多个功能 那么，要分裂成几棵树并在每个分割处随机选择的特征数是多少？其他参数会极大地影响结果吗？

14 machine-learning  classification  random-forest 

就我（非常基础）的理解而言，朴素贝叶斯根据训练数据中每个要素的类频率来估计概率。但是，它如何计算连续变量的频率？在进行预测时，如何对可能与训练集中的任何观测值不相同的新观测值进行分类？它使用某种距离测量还是找到1NN？

14 machine-learning  classification  bayesian  naive-bayes 

我使用的是 Scikit-learn中实现的一类SVM，用于我的研究工作。但是我对此没有很好的理解。 任何人都可以对一类SVM进行简单，良好的解释吗？

14 machine-learning  svm  data-mining  novelty-detection 

MLE =最大似然估计 MAP =最大后验 MLE是直观/天真的，因为它仅从给定参数（即似然函数）的观察概率开始，并尝试找到与观察最相符的参数。但是它没有考虑先验知识。 MAP似乎更合理，因为它确实考虑了贝叶斯规则中的先验知识。 这是一个相关的问题，但答案并不彻底。 /signals/13174/differences-using-maximum-likelihood-or-maximum-a-posteriori-for-deconvolution-d 因此，我认为MAP更好。那正确吗？那我什么时候该使用呢？

14 machine-learning  bayesian  estimation  maximum-likelihood  inference 

通过使用由模型生成的类成员资格概率的阈值来确定（二进制）逻辑回归的预测类。据我了解，默认情况下通常使用0.5。 但是改变阈值将改变预测的分类。这是否意味着阈值是超参数？如果是这样，为什么（例如）为什么无法使用scikit-learn的GridSearchCV方法轻松地在阈值网格中进行搜索（就像对正则化参数所做的那样C）。

13 machine-learning  logistic  scikit-learn  hyperparameter 

如果您所做的只是从经验分布中重新采样，为什么不仅仅研究经验分布呢？例如，为什么不仅仅通过经验分布来量化变异性，而不是通过重复采样研究变异性？

13 machine-learning  mathematical-statistics  sampling  bootstrap  resampling 

用于比较两个或多个分类模型的一种常用方法是使用ROC曲线（AUC）下的面积作为间接评估其性能的一种方法。在这种情况下，通常将具有较大AUC的模型解释为比具有较小AUC的模型具有更好的性能。但是，根据Vihinen，2012年（https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/）所述，当两条曲线相互交叉时，这种比较不再有效。为什么会这样呢？ 例如，根据ROC曲线和下面的AUC，可以确定模型A，模型B和模型C的方法是什么？

13 machine-learning  classification  roc  auc  model-evaluation 

我想知道多少机器学习需要优化。据我所知，对于从事机器学习的人们来说，统计数据是一个重要的数学主题。同样，对于从事机器学习的人来说，了解凸优化或非凸优化有多重要？

13 machine-learning  optimization 

我有大约20列（20个功能）的原始数据。其中有10个是连续数据，有10个是分类数据。某些分类数据可能具有50个不同的值（美国各州）。在我对数据进行预处理之后，连续的10列变成了10列准备好的列，而10个分类值变得像200个一键编码变量。我担心如果将所有这些200 + 10 = 210个特征都放入神经网络，那么200个热门特征（10个分类列）将完全占据10个连续特征。 也许一种方法是将列“分组”或类似的东西。这是一个有效的问题吗？有没有标准的方法可以解决这个问题？ （尽管我认为这没什么大不了，但我正在使用Keras。）

13 machine-learning  neural-networks  tensorflow  data-preprocessing  theano 

在DeepMind于2015年发表的有关深度强化学习的论文中指出，“由于不稳定的学习，将RL与神经网络结合的先前尝试在很大程度上失败了”。然后，论文根据观察结果之间的相关性列出了造成这种情况的一些原因。 请有人可以解释一下这是什么意思吗？这是一种过度拟合的形式吗，神经网络学习了训练中存在但测试中可能没有的某种结构？还是意味着其他？ 可以找到该文件：http : //www.nature.com/nature/journal/v518/n7540/full/nature14236.html 我想了解的部分是： 当使用非线性函数逼近器（例如神经网络）表示作用值（也称为Q）函数时，强化学习不稳定或发散。这种不稳定性有多种原因：观察序列中存在相关性，对Q的小更新可能会显着更改策略并因此更改数据分布的事实，以及作用值与目标值之间的相关性。 我们使用一种新颖的Q学习方法解决了这些不稳定性，该方法使用了两个关键思想。首先，我们使用一种称为经验重播的受生物学启发的机制来对数据进行随机化，从而消除观察序列中的相关性，并平滑数据分布中的变化。其次，我们使用了迭代更新，将操作值（Q）调整为仅定期更新的目标值，从而减少了与目标的相关性。

13 machine-learning  neural-networks  deep-learning  reinforcement-learning 

作为我要解决的特定问题（竞赛），我进行了以下设置：21个功能（[0,1]上的数字）和二进制输出。我大约有10万行。设置似乎非常嘈杂。 我和其他参与者使用了一段时间的特征生成功能，并且在这种情况下，t分布的随机邻居嵌入非常强大。 我偶然发现了这篇文章“如何有效使用t-SNE”，但我仍然无法真正得出关于如何在我的分类设置中最佳选择超参数的结论。 是否有经验法则（特征数量，嵌入尺寸->困惑选择）？ 我现在只是临时应用设置，因为迭代各种设置所需的时间太长。感谢您的任何评论。

13 machine-learning  dimensionality-reduction  unsupervised-learning  tsne 

我已经阅读了一些有关手动构造图像以“愚弄”神经网络的文章（见下文）。 这是因为网络仅对条件概率建模吗？ 如果网络可以对联合概率进行建模，是否还会发生这种情况？p （y ，x ）p （ÿ| X）p（ÿ|X）p(y|x)p （ÿ，x ）p（ÿ，X）p(y,x) 我的猜测是，这种人工生成的图像与训练数据不同，因此它们具有低概率。因此即使对于这些图像来说可以很高，应该低。p （y ，x ）p （y | x ）p（X）p（X）p(x)p （ÿ，x ）p（ÿ，X）p(y,x)p （ÿ| X）p（ÿ|X）p(y|x) 更新资料 我尝试了一些生成模型，结果证明它没有帮助，所以我想这可能是MLE的结果吗？ 我的意思是在的情况下KL散度被用作损失函数，值其中很小不影响损失。因此，对于一个人为的图像不匹配，的值可以是任意的。p d 一吨一个（X ）p d 一吨一个 p θpθ（x ）pθ（X）p_{\theta}(x)pd一个牛逼一（x ）pd一种Ť一种（X）p_{data}(x)pd一个牛逼一pd一种Ť一种p_{data}pθpθp_{\theta} 更新资料 我发现Andrej Karpathy撰写的博客显示 这些结果并非特定于图像，卷积网络，也不是深度学习中的“缺陷”。 解释和利用对抗性示例容易欺骗深层神经网络：无法识别图像的高置信度预测

13 machine-learning  neural-networks  deep-learning 

我想知道它是什么，与集合有什么不同？ 假设，如果我使用不同的网络（例如CNN，RNN等）来实现此目标，那么我想针对特定任务实现高精度的分类和分段，这称为端到端模型吗？（架构？）还是不？

13 machine-learning  terminology  deep-learning