Questions tagged «svm»

具有高斯核的SVM具有有限的维特征空间这一事实背后的直觉是什么？

36 svm  feature-selection  kernel-trick 

如何证明径向基函数是一个内核？据我了解，为了证明这一点，我们必须证明以下任何一项：k(x,y)=exp(−||x−y||2)2σ2)k(x,y)=exp⁡(−||x−y||2)2σ2)k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2}) 对于任何一组向量矩阵 =是正半定的。x1,x2,...,xnx1,x2,...,xnx_1, x_2, ..., x_nK(x1,x2,...,xn)K(x1,x2,...,xn)K(x_1, x_2, ..., x_n)(k(xi,xj))n×n(k(xi,xj))n×n(k(x_i, x_j))_{n \times n} 可以表示映射例如 =。ΦΦ\Phik(x,y)k(x,y)k(x, y)⟨Φ(x),Φ(y)⟩⟨Φ(x),Φ(y)⟩\langle\Phi(x), \Phi(y)\rangle 有什么帮助吗？

35 svm  kernel-trick 

谁能告诉我“弱学习者”是什么意思？它应该是一个弱假设吗？我对学习能力弱和分类能力弱的关系感到困惑。两者相同还是有所不同？ 在adaboost算法中，T=10。那是什么意思？我们为什么选择T=10？

34 classification  svm  terminology  adaboost  pac-learning 

我已经看到人们对SVM和内核进行了很多努力，并且它们作为机器学习的入门者看起来非常有趣。但是，如果我们期望几乎总能找到（深度）神经网络方面的出色解决方案，那么在这个时代尝试其他方法的意义是什么？ 这是我对此主题的限制。 我们只考虑监督学习；回归和分类。 结果的可读性不计算在内；只有在监督学习问题上的准确性才重要。 不考虑计算成本。 我并不是说其他​​任何方法都没有用。

33 machine-learning  svm  kernel-trick  supervised-learning 

我有一个流数据集，示例一次可用。我需要对它们进行多类分类。一旦将培训示例提供给学习过程，我就必须放弃该示例。同时，我还使用最新模型对未标记的数据进行预测。 据我所知，神经网络能够通过一次提供一个示例并对该示例执行正向传播和反向传播来进行流学习。 SVM可以一次执行流学习一个示例并立即丢弃该示例吗？

33 machine-learning  svm  neural-networks 

众所周知，SVM可以使用内核方法将数据点投影到较高的空间中，以便可以用线性空间分隔这些点。但是我们也可以使用逻辑回归在内核空间中选择此边界，那么SVM有何优势？由于SVM使用的稀疏模型在预测时仅由那些支持向量做出贡献，因此这会使SVM的预测速度更快吗？

32 svm 

如何使用SVM获得变量（属性）的重要性？

32 machine-learning  feature-selection  svm 

我正在使用SVM进行分类，并且正在尝试确定线性和RBF内核的最佳参数。对于线性内核，我使用交叉验证的参数选择来确定C，对于RBF内核，我使用网格搜索来确定C和伽马。 我有20个（数字）功能和70个训练示例，应该将其分为7类。 我应该使用哪个搜索范围来确定C和gamma参数的最佳值？

32 classification  svm  kernel-trick 

我正在使用libsvm（http://www.csie.ntu.edu.tw/~cjlin/libsvm/）工具进行支持向量分类。但是，我对输入数据的格式感到困惑。 从自述文件： 训练和测试数据文件的格式为： <label> <index1>:<value1> <index2>:<value2> ... . . . 每行包含一个实例，并以“ \ n”字符结尾。对于分类，<label>是指示类标签的整数（支持多类）。为了回归，<label>目标值可以是任何实数。对于一类SVM，不使用它，因此可以是任何数字。该对<index>:<value>提供一个特征（属性）值：<index>是一个从1开始的整数，<value> 是一个实数。唯一的例外是预先计算的内核， <index>从0开始；请参阅预计算内核部分。索引必须按升序排列。测试文件中的标签仅用于计算准确性或错误。如果未知，则在第一列中填入任何数字。 我有以下问题： 有什么用<index>？它有什么作用？ 不同数据实例的相同索引值之间是否存在对应关系？ 如果我错过/跳过两者之间的索引怎么办？ 我问是因为libsvm的软件包中包含的数据文件* heart_scale *在第12行中，索引从2开始。<value>索引1 的for 是否被视为未知/丢失？注意：软件包随附的tools / checkdata.py工具表示* heart_scale *文件正确。

31 machine-learning  svm  python  libsvm  c++ 

我试图与R同步。最终我想使用R库进行文本分类。我只是想知道人们在进行文本分类时对R的可伸缩性有何经验。 我可能会遇到高维数据（约30万维）。我正在研究使用SVM和随机森林作为分类算法。 R库会扩展到我的问题规模吗？ 谢谢。 编辑1：只是为了澄清，我的数据集可能有1000-3000行（也许更多）和10个类。 编辑2：由于我是R的新手，因此我将要求海报在可能的情况下更加具体。例如，如果您建议一个工作流程/管道，请确保尽可能提及每个步骤中涉及的R库。一些额外的指针（例如示例，示例代码等）将锦上添花。 编辑3：首先，谢谢大家的评论。其次，我很抱歉，也许我应该为这个问题提供更多的背景信息。我是R的新手，但对文本分类却不太了解。我已经使用tm包对我的数据的某些部分进行了预处理（删除，删除停用词，tf-idf转换等），以使您对事物有所了解。即使只有大约200个文档，tm也是如此缓慢，以至于我担心可伸缩性。然后我开始玩FSelector，即使那真的很慢。这就是我进行操作的关键所在。 编辑4：我刚想到我有10个班级，每个班级大约有300份培训文档，实际上我是在整个培训集中构建termXdoc矩阵，从而产生了很高的维度。但是，如何将每个千分之一分类问题简化为一系列二进制分类问题呢？这将大大减少k-1步骤每一步的培训文档的数量（并因此减少维度），不是吗？那么这是一种好方法吗？与普通的多类实现相比，它的准确性如何？

30 r  machine-learning  svm  text-mining  random-forest 

我的功能的每个维度都有不同的价值范围。我想知道标准化此数据集是否必要。

29 machine-learning  svm  random-forest  normalization 

我对SVM和感知器之间的区别感到困惑。让我尝试在这里总结一下我的理解，请随时纠正我的错误之处，并填写我错过的内容。 感知器不会尝试优化分离“距离”。只要找到一个将这两个集合分开的超平面，那就很好了。另一方面，SVM试图最大化“支持向量”，即两个最接近的相对采样点之间的距离。 SVM通常尝试使用“内核函数”将采样点投影到高维空间，以使它们线性可分离，而感知器假定采样点是线性可分离的。

29 machine-learning  svm  kernel-trick 

我正在使用插入符号在数据集上运行交叉验证的随机森林。Y变量是一个因素。我的数据集中没有NaN，Inf或NA。但是，当运行随机森林时，我得到 Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use warnings() to see them) Warning messages: 1: In data.matrix(x) : NAs introduced by coercion 2: In data.matrix(x) : NAs introduced by coercion 3: In data.matrix(x) : NAs introduced by …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

我了解到，在使用基于模型的方法处理数据时，第一步是将数据过程建模为统计模型。然后，下一步就是基于此统计模型开发有效/快速的推理/学习算法。所以我想问问支持向量机（SVM）算法背后的统计模型是什么？

28 machine-learning  svm  modeling 

我刚刚碰到了这篇论文，该论文描述了如何通过混合效应建模来计算测量的可重复性（又称可靠性，又称类内相关性）。R代码为： #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = intercept_var/(intercept_var+residual_var) #compute n0, the repeatability adjustment n = as.data.frame(table(my_data$unit)) k = nrow(n) N = sum(n$Freq) n0 = (N-(sum(n$Freq^2)/N))/(k-1) #compute the adjusted repeatability Rn = …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit