Questions tagged «classification»

我想比较两个分类器在统计上的准确性。两个分类器都在同一数据集上运行。这使我相信我应该使用我一直在阅读的样本进行t检验。 例如： Classifier 1: 51% accuracy Classifier 2: 64% accuracy Dataset size: 78,000 这是要使用的正确测试吗？如果是这样，我如何计算分类器之间的准确性差异是否显着？ 还是我应该使用其他测试？

17 machine-learning  statistical-significance  classification  t-test 

似乎KNN是一种判别式学习算法，但我似乎找不到任何在线资源来证实这一点。 KNN是判别式学习算法吗？

17 machine-learning  classification  k-nearest-neighbour 

问题 我在努力了解预测是如何保持在内[0,1][0,1][0,1]的时间间隔与梯度推进做二元分类时。 假设我们正在研究二进制分类问题，我们的目标函数是对数损失，其中是的目标变量而是我们当前的模型。−∑yilog(Hm(xi))+(1−yi)log(1−Hm(xi))−∑yilog⁡(Hm(xi))+(1−yi)log⁡(1−Hm(xi))-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))yyy∈{0,1}∈{0,1}\in \{0,1\}HHH 当训练下一个弱学习者，使我们的新模型为，应该使的机制是什么？或者，也许是一个更相关的问题，是否存在这样的机制？hihih_iHi=Hi−1+hiHi=Hi−1+hiH_i = H_{i-1} + h_iHi∈[0,1]Hi∈[0,1]H_i \in [0,1] 有关我在做什么的更多信息 我正在尝试使用回归树来实现梯度增强。我要避免的是将乘以因子，这样不会小于零或大于零一，然后在该范围内选择以使损失函数最小。hihih_ic∈[0,cmax]c∈[0,cmax]c \in [0,c_{\text{max}}]H+cmaxhH+cmaxhH + c_{\text{max}}hccc 这带来了以下问题：经过几轮后，我得到了一个已完全分类的点，并且可用于沿梯度方向推动分类器的最佳拆分希望将这一点推动至一个以上，我确保不会发生这种情况设置。因此，所有下一次迭代将选择相同的拆分和相同的。c=0c=0c = 0c=0c=0c = 0 我尝试了常见的正则化做法 乘以降低学习率由。这只会延迟问题。μ = 0.01cccμ=0.01μ=0.01\mu = 0.01 对特征空间进行二次采样，但是有些点很容易分类，它们几乎标记了“这是肯定的吗？”中的每个框。形式，几乎每个“良好的分裂”都显示了此行为。 我认为这不是参数问题，应该有更合理的方法来解决此问题。我并没有放弃实现被破坏的可能性，但是我没有找到解决此问题的方法。 在逻辑损失的背景下，我们所要操纵的应该是一个概率，那么我们如何避免它呢？ 我的直觉是把我们构建模型，，在S形函数，使得它为界，[ 0 ，1 ]，我想这会的工作，但我想知道是否有其他的解决方案。由于在分类任务中似乎成功使用了梯度增强，因此应该存在一个“正确的”（即有正当理由）解决方案。HHH[0,1][0,1][0,1]

17 logistic  classification  boosting 

支持向量机和线性判别分析之间有什么区别？

17 classification 

正确的计分规则是“真实”模型最大化的规则，并且不允许“对冲”或对系统进行博弈（故意报告不同结果，因为该模型的真实信念是提高分数）。石棉分数是适当的，准确性（正确分类的比例）是不适当的，并且经常受到阻碍。有时我会看到AUC被称为半正确评分规则，这使其准确性不完全虚假，但不如适当规则敏感（例如，此处/stats//a/90705/53084）。 半正确评分规则是什么意思？它在某处定义吗？

16 classification  references  roc  measurement-error  scoring-rules 

回归中的零模型是什么，零模型与零假设之间的关系是什么？ 以我的理解，这是否意味着 使用“响应变量的平均值”来预测连续响应变量？ 使用“标签分布”来预测离散响应变量？ 如果真是这样，那么零假设之间的联系似乎缺失了。

16 regression  hypothesis-testing  classification  terminology  model 

我试图了解1969年著名的Minsky和Papert所著的“ Perceptrons”的上下文，这对神经网络至关重要。 据我所知，除感知器外，没有其他通用的有监督学习算法：决策树仅在70年代后期才开始真正变得有用，随机森林和SVM都是90年代。似乎已经知道折刀法了，但k-cross验证（70s）或bootstrap（1979？）还不知道。 维基百科说，尽管上世纪40年代首次尝试描述混合理论，但内曼-皮尔森（Neyman-Pearson）和费舍尔（Fisher）的经典统计框架仍存在分歧。 因此，我的问题是：解决根据数据进行预测的一般问题的最新方法是什么？

16 classification  neural-networks  history 

我正在尝试学习如何使用马尔可夫随机场来分割图像中的区域。我不了解MRF中的某些参数，或者为什么我执行的期望最大化有时无法收敛到解决方案。 从贝叶斯定理开始，我有，其中是像素的灰度值，是类标签。我选择对使用高斯分布，而是使用MRF建模的。y x p （y | x ）p （x ）p(x|y)=p(y|x)p(x)/p(y)p(x|y)=p(y|x)p(x)/p(y)p(x|y) = p(y|x) p(x) / p(y)yyyxXxp （ÿ| X）p（ÿ|X）p(y|x)p （x ）p（X）p(x) 我为MRF使用了一个电位函数，该函数既具有成对的集团电位，又具有被分类像素的类别标签的电位值。单个像素电势值是某个常数，取决于类标签。对成对连接的4个邻居评估成对势函数，如果邻居具有与此像素相同的类别标签，则返回正如果标签不同则返回。X β - βαα\alphaXXxββ\beta- β-β-\beta 在期望最大化的点上，我必须找到最大化对数似然期望值的和的值，我使用了数值优化方法（尝试了共轭梯度，BFGS，鲍威尔方法），但是总是会发现的值将变为负值， s将会急剧增加，并且一两次或之后的迭代，整个图像将仅分配给一个标签（背景：使用ICM完成给定MRF参数的类标签的分配） 。如果我删除了alpha，即仅使用成对的集团势，那么期望最大化就可以了。β β αα （x ）α（X）\alpha(x)ββ\betaββ\betaαα\alpha 请说明每个课程的Alpha用途是什么？我以为它们与图像中存在的该类的数量有关，但似乎无关。一旦我使MRF仅以成对电位工作，我便将其与简单的高斯混合模型进行了比较，发现它们产生的结果几乎相同。我期望成对的电位能使课程顺利一些，但这并没有发生。请告知我哪里出了问题。

16 expectation-maximization  image-processing  classification 

我有一个高度不平衡的测试数据集。正集包含100个案例，而负集包含1500个案例。在训练方面，我有一个更大的候选库：正面训练集有1200个案例，负面训练集有12000个案例。对于这种情况，我有几种选择： 1）在整个训练集中使用加权SVM（P：1200，N：12000） 2）使用基于采样训练集（P：1200，N：1200）的SVM，从12000个案例中抽取1200个否定案例。 在确定哪种方法更好方面是否有任何理论指导？由于测试数据集高度不平衡，我是否也应该使用不平衡训练集？

16 machine-learning  classification  data-mining  svm  bioinformatics 

因此，我是ML领域的新手，因此尝试进行一些分类。我的目标是预测体育赛事的结果。我收集了一些历史数据，现在尝试训练分类器。我得到了大约1200个样本，其中有0.2个样本出于测试目的而拆分，其他样本则使用不同的分类器进行了网格搜索（包括交叉验证）。到目前为止，我已经尝试过使用线性，rbf和多项式内核以及随机森林的SVM。不幸的是，我无法获得显着大于0.5的精度（与随机选择类相同）。这是否意味着我无法预测如此复杂事件的结果？或者我可以获得至少0.7-0.8的精度？如果可行，那么接下来我应该考虑什么？ 获取更多数据？（我最多可以将数据集放大5倍） 尝试其他分类器？（逻辑回归，kNN等） 重新评估我的功能集？有没有要分析的机器学习工具，哪些功能有意义，哪些没有？也许我应该减少功能集（目前我有12个功能）？

16 classification  svm  feature-selection  random-forest 

我有一个10倍交叉验证设置的120个样本的数据集。目前，我选择第一个保持的训练数据，并对其进行5倍交叉验证，以通过网格搜索选择gamma和C的值。我正在将SVM与RBF内核一起使用。由于我正在做十个10交叉验证以报告精度，请问，我是否在每个保留的训练数据中执行此网格搜索（有10个保留，每个包含10％的测试和90％的训练数据）？那不是很费时间吗？ 如果我使用第一个保留项的gamma和C并将其用于k折交叉验证的9个保留项的其余部分，那是违反规定，因为我本来会使用火车数据获取gamma和C并再次使用火车数据的一部分作为第二次验证中的测试？

16 machine-learning  classification  cross-validation  svm 

我正在训练具有8类数据的多类LDA分类器。 进行培训时，我收到以下警告：“ 变量是共线的 ” 我的训练准确率超过90％。 我在Python中使用scikits-learn库来训练和测试Multi-class数据。 我也得到了不错的测试准确性（大约85％-95％）。 我不明白错误/警告的意思。请帮帮我。

16 machine-learning  classification  python  scikit-learn  discriminant-analysis 

让我们考虑有关对MNIST数据集进行分类的问题。 根据Yann LeCun的MNIST网页，“ Ciresan等” 使用卷积神经网络在MNIST测试集上获得了0.23％的错误率。 让我们将MNIST训练集表示为，将MNIST测试集表示为，将他们使用获得的最终假设设为，并将它们在MNIST测试集上的错误率设为作为。DtrainDtrainD_{train}DtestDtestD_{test}DtrainDtrainD_{train}h1h1h_{1}h1h1h_{1}Etest(h1)=0.0023Etest(h1)=0.0023E_{test}(h_{1}) = 0.0023 在他们看来，由于是从输入空间中随机采样的测试集，而与无关，因此他们可以坚持认为，最终假设的样本外误差性能为由Hoeffding不等式界定 ，其中。DtestDtestD_{test}h1h1h_{1}Eout(h1)Eout(h1)E_{out}(h_{1})P[|Eout(h1)−Etest(h1)|&lt;ϵ|]≥1−2e2ϵ2NtestP[|Eout(h1)−Etest(h1)|&lt;ϵ|]≥1−2e2ϵ2NtesŤ P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}} ñ牛逼Ë 小号ŧ= | d牛逼Ë 小号ŧ|ñŤËsŤ=|dŤËsŤ|N_{test}=|D_{test}| 换句话说，至少为， Ë Ö ù 吨（ħ 1）≤ Ë 吨ë 小号吨（ħ 1）+ √1 - δ1-δ1-\deltaËØ ü Ť（小时1）≤ Ë牛逼Ë 小号ŧ（小时1）+ 12 N牛逼Ë 小号ŧ升Ñ 2δ---------√ËØüŤ（H1）≤ËŤËsŤ（H1）+12ñŤËsŤ升ñ2δE_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over …

16 machine-learning  classification  overfitting  probability-inequalities 

有人可以为我总结一些可能的例子，在什么情况下增加培训数据可以改善整个系统？我们何时发现添加更多训练数据可能会过拟合数据，而对测试数据却没有很好的准确性？ 这是一个非常特殊的问题，但是如果您要针对特定​​情况回答特定问题，请这样做。

16 machine-learning  classification  dataset  precision-recall 

我有一个包含几百万行和约100列的数据集。我想检测数据集中大约1％的示例，它们属于一个普通类。我有一个最低限度的精度约束，但是由于成本非常不对称，所以我对任何特定的召回都不太热衷（只要我没有剩下10个正匹配项！） 在这种情况下，您会推荐哪些方法？（欢迎链接到论文，赞赏实现的链接）

15 machine-learning  classification  unbalanced-classes  precision-recall