Questions tagged «machine-learning»

执行主成分分析（PCA）之后，我想将一个新向量投影到PCA空间上（即在PCA坐标系中找到其坐标）。 我已经使用R计算了R语言的PCA prcomp。现在，我应该可以将向量乘以PCA旋转矩阵。该矩阵中的主要成分应该按行还是按列排列？

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

我正在阅读批处理规范化（BN）论文（1），但不了解需要使用移动平均值来跟踪模型的准确性，即使我接受这样做是对的，我也不明白他们到底在做什么。 据我所知（我是错的），该论文提到一旦模型完成训练，它将使用人口统计数据而不是小批量统计数据。在讨论了无偏估计（对我来说是切线的，并且不理解为什么如此讨论）之后，他们说： 取而代之的是使用移动平均值，我们在模型训练时跟踪模型的准确性。 那是令我困惑的部分。他们为什么要进行移动平均以估计模型的准确性以及在哪些数据集上？ 通常人们会做些什么来估计其模型的泛化，他们只是跟踪模型的验证误差（并可能尽早停止其梯度下降以进行正则化）。但是，批处理规范化似乎在做完全不同的事情。有人可以澄清什么以及为什么做不同的事情吗？ 1：Ioffe S.和Szegedy C.（2015年）， “批处理规范化：通过减少内部协变量偏移来加速深层网络训练”， 第32届国际机器学习会议论文集，法国里尔，2015年 。机器学习研究杂志： W＆CP卷37

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

在向量上应用softmax函数将产生“概率”和到之间的值。 0001个1个1 但是我们也可以将每个值除以向量之和，这将产生到之间的概率和值。0001个1个1 我在这里阅读了答案，但它说这是因为它是可区分的，尽管两个函数都是可区分的。

20 machine-learning  neural-networks  softmax 

在Tensorflow的ResNet实现中，我发现它们使用方差缩放初始值设定项，我还发现xavier初始值设定项很流行。我对此没有太多经验，在实践中哪个更好？

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

我已经对过拟合和欠拟合进行了一些研究，并且我了解了它们的确切含义，但是我找不到原因。 过度拟合和拟合不足的主要原因是什么？ 为什么我们在训练模型时会面临这两个问题？

20 machine-learning  dataset  overfitting 

机器学习研究论文经常将学习和推理视为两个独立的任务，但是我不清楚这是什么区别。例如，在本书中，他们将贝叶斯统计用于这两种任务，但没有提供这种区分的动机。我有几个模糊的想法，可能是什么，但我希望看到一个明确的定义，也许还要反驳或扩展我的想法： 推断某个数据点的潜在变量的值与学习该数据的合适模型之间的区别。 提取方差（推断）与学习方差之间的差异，以便能够提取方差（通过学习输入空间/过程/世界的动态）。 神经科学的类比可能是短期增强/抑制（记忆痕迹）与长期增强/抑制。

20 machine-learning  terminology 

我正在使用一个返回概率的分类器。为了计算AUC，我使用了pROC R-package。分类器的输出概率为： probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probs显示出现“ 1”级的可能性。如图所示，分类器已将所有样本分类为“ 1”类。 真实标签向量为： truel=c(1, 1, 1, 1, 1, 0, 0, 0, 0, 0) 如图所示，分类器对5个样本进行了错误分类。但是，AUC是： pROC::auc(truel, probs) Area under the curve: 1 你能告诉我为什么会发生吗？

20 machine-learning  auc 

我正在通过Coursera上Andrew Ng的机器学习课程。对于方程式，使用上标代替下标。例如，在以下等式中，使用代替： x ix(i)x(i)x^{(i)}xixix_i J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2J(\theta_0, \theta_1) = \frac{1}{2m} \sum\limits_{i=1}^{m}{(h_\theta(x^{(i)}) - y^{(i)})^2} 显然，这是惯例。我的问题是为什么要使用上标而不是下标？上标已用于求幂。当然，通过注意括号是否存在，我似乎能够区分上标和取幂用例，但这仍然令人困惑。

20 machine-learning  notation 

我不完全了解节点大小的含义。我知道决策节点是什么，但不知道节点的大小是多少。

20 machine-learning  random-forest  bagging 

关于运行统计学习算法之前是否需要使用特征选择方法（随机森林特征重要性值或单变量特征选择方法等），我有一个问题。 我们知道，为避免过度拟合，我们可以对权重向量引入正则化惩罚。 因此，如果要进行线性回归，则可以引入L2或L1甚至弹性网正则化参数。为了获得稀疏解，L1惩罚有助于特征选择。 然后，是否仍需要在运行L1正则化或回归（例如Lasso）之前进行特征选择？从技术上讲，套索正在帮助我减少L1损失，那么为什么在运行算法之前需要选择特征？ 我读了一篇研究文章，说先做Anova再做SVM比单独使用SVM可以提供更好的性能。现在的问题是：SVM本质上使用L2规范进行正则化。为了最大化裕量，它正在最小化权重向量范数。因此，它正在对其目标函数进行正则化。那么从技术上讲，诸如SVM之类的算法就不应该困扰于特征选择方法吗？但是该报告仍然说，在普通SVM功能更强大之前进行Univariate Feature选择。 有想法的人吗？

20 regression  machine-learning  feature-selection  lasso  regularization 

我有一个由5个要素组成的数据集：A，B，C，D，E。它们都是数字值。我要做的不是以密度为基础的聚类，而是以类似决策树的方式对数据进行聚类。 我的意思是这样的： 该算法可以基于特征C将数据划分为X个初始簇，即，X个簇可以具有小C，中等C，大C和非常大的C值等。接下来，在X个簇节点的每个下，算法进一步划分根据特征A将数据分为Y个簇。算法将继续进行，直到使用了所有特征。 我上面描述的算法就像决策树算法。但是我需要它用于无监督的聚类，而不是有监督的分类。 我的问题如下： 这样的算法已经存在吗？这种算法的正确名称是什么 是否有一个R / python包/库实现了这种算法？

20 r  machine-learning  clustering  cart 

如今，随着所有媒体对深度学习的讨论和炒作，我读到了一些基本的东西。我刚刚发现，这只是从数据中学习模式的另一种机器学习方法。但是我的问题是：这种方法在哪里发光，为什么发光？为什么现在都在谈论它？即是什么大惊小怪的？

20 machine-learning  data-mining  deep-learning  deep-belief-networks 

我正在寻找可输出示例属于两个类之一的概率的分类器。 我知道逻辑回归和朴素的贝叶斯，但是您能告诉我其他类似的工作方式吗？也就是说，分类器不是预测示例所属的类，而是预测示例适合特定类的概率吗？ 您可以分享关于这些不同分类器（包括逻辑回归和朴素贝叶斯）的优缺点的任何想法的加分。例如，对于多类别分类是否有更好的选择？

20 machine-learning  probability  logistic  classification  naive-bayes 

我正在尝试弄清各种假设在半监督学习中的含义。谁能以简单的方式解释？我无法理解它的直觉。 它说您的数据位于嵌入高维空间的低维流形上。我没有明白那是什么意思。

20 machine-learning  unsupervised-learning  supervised-learning  manifold-learning 

最近，我遇到了“循环强化学习”这个词。我了解什么是“递归神经网络”和什么是“强化学习”，但是找不到有关“递归强化学习”的更多信息。 有人可以向我解释什么是“循环强化学习”，以及“循环强化学习”和常规的“强化学习”（如Q学习算法）之间的区别。

20 machine-learning  reinforcement-learning