Questions tagged «svm»

当我使用GAM时，它给了我剩余的DF为（代码的最后一行）。这意味着什么？超越GAM示例，通常，自由度可以是非整数吗？26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter for gaussian family taken to be 6.6717) Null Deviance: 1126.047 on 31 degrees of freedom Residual Deviance: 177.4662 on 26.6 degrees of …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

假设我们有一个SVM分类器，如何生成ROC曲线？（理论上类似）（因为我们使用每个阈值生成TPR和FPR）。我们如何确定此SVM分类器的最佳阈值？

27 machine-learning  svm 

一对一和一对一SVM分类器有什么区别？ “一对多”是指一个分类器对新图像的所有类型/类别进行分类，而一对多是指新图像的每种类型/类别用不同的分类器进行分类（每个类别均由特殊分类器处理）吗？ 例如，如果将新图像分类为圆形，矩形，三角形等。

26 machine-learning  classification  svm 

有人可以告诉我SVM中内核之间的区别： 线性的 多项式 高斯（RBF） 乙状结肠 因为众所周知，内核用于将输入空间映射到高维特征空间。在该特征空间中，我们找到了线性可分界线。 什么时候使用它们（在什么条件下），为什么？

26 machine-learning  svm  pattern-recognition  kernel-trick 

关于支持向量机如何处理分类已经进行了精彩的讨论，但是我对支持向量机如何推广到回归感到非常困惑。 有人愿意启发我吗？

26 regression  machine-learning  svm 

已关闭。这个问题是基于观点的。它当前不接受答案。 想改善这个问题吗？更新问题，以便通过编辑此帖子以事实和引用的形式回答。 2年前关闭。 深度学习和神经网络通常存在的基本问题。 适合训练数据的解决方案是无限的。我们没有一个只有一个人就能满足的精确数学方程式，并且可以说是最好的概括。简而言之，我们不知道哪种概括最好。 优化权重并不是一个凸面的问题，因此我们永远都不会知道最终会遇到全局最小值还是局部最小值。 那么，为什么不抛弃神经网络而寻找更好的ML模型呢？我们了解什么，并且与一组数学方程式一致？线性和SVM没有数学上的缺点，并且与一组数学方程式完全一致。为什么不只是沿着同一条线思考（虽然不需要线性），并且提出一个比线性和SVM，神经网络和深度学习更好的新ML模型？

25 machine-learning  neural-networks  svm  deep-learning 

SVM的所有示例均与分类有关。我不了解如何在回归中使用用于回归的SVM（支持向量回归）。 根据我的理解，SVM可以最大化两个类之间的余量，以找到最佳的超平面。这将如何解决回归问题？

25 regression  svm 

K(x,y)=exp(−∥x−y∥222σ2)=ϕ(x)Tϕ(y)K(x,y)=exp⁡(−‖x−y‖222σ2)=ϕ(x)Tϕ(y)K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)x,y∈Rnx,y∈Rnx, y\in \mathbb{R^n}ϕϕ\phi 我还想知道是否 其中中的。现在，我认为这并不相等，因为使用内核可以处理线性分类器无法工作的情况。我知道将x到一个无限的空间。因此，即使它仍然保持线性，无论它有多少个维度，svm仍然无法进行良好的分类。∑iciϕ(xi)=ϕ(∑icixi)∑iciϕ(xi)=ϕ(∑icixi)\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)ci∈Rci∈Rc_i\in \mathbb Rϕϕ\phi

24 machine-learning  svm  kernel-trick 

我正在对机器学习的优化技术进行一些研究，但是很惊讶地发现，根据其他优化问题定义了大量的优化算法。我在下面说明一些示例。 例如https://arxiv.org/pdf/1511.05133v1.pdf 一切看起来不错，不错，但接下来有一个在更新....所以什么是算法，为求解？我们不知道，也没有说。因此，神奇的是，我们要解决另一个优化问题，即找到最小化向量，以使内积最小化-如何做到这一点？z k + 1 argmin精氨酸X精氨酸X\text{argmin}_xžk + 1zk+1z^{k+1}精氨酸argmin\text{argmin} 再举一个例子：https : //arxiv.org/pdf/1609.05713v1.pdf 一切都很好，直到您在算法中间点击了最接近的运算符为止，该运算符的定义是什么？ 繁荣： 现在，请告诉我们，我们如何解决近端运算符中的问题？没有说 无论如何，取决于是什么，该优化问题看起来很难（NP HARD）。 f精氨酸XargminX\text{argmin}_xFFf 有人可以启发我： 为什么要根据其他优化问题定义这么多优化算法？ （这不是鸡和蛋的问题吗？要解决问题1，您需要解决问题2，请使用解决问题3的方法，这依赖于解决问题....） 您如何解决这些算法中嵌入的优化问题？例如，，如何在右侧找到最小化器？Xk + 1= 精氨酸X真正复杂的损失函数Xķ+1个=精氨酸X真正复杂的损失函数x^{k+1} = \text{argmin}_x \text{really complicated loss function} 最终，我对如何以数字方式实现这些算法感到困惑。我认识到加和乘向量是python中的简单操作，但是，是否有一些函数（脚本）神奇地为您提供了函数的最小化器？精氨酸X精氨酸X\text{argmin}_x （赏金：有人能参考作者明确阐明高级优化算法中嵌入的子问题的算法的论文吗？）

23 machine-learning  svm  optimization 

人们说软边距SVM使用铰链损耗函数：。但是，软裕量SVM尝试最小化的实际目标函数为 \ frac {1} {2} \ | w \ | ^ 2 + C \ sum_i \ max（0,1-y_i（w ^ \ intercal x_i + b） ） 有些作者称\ | w \ | ^ 2项正则化器和\ max（0,1-y_i（w ^ \ intercal x_i + b））项损失函数。max(0,1−yi(w⊺xi+b))max(0,1−yi(w⊺xi+b))\max(0,1-y_i(w^\intercal x_i+b))12∥w∥2+C∑imax(0,1−yi(w⊺xi+b))12‖w‖2+C∑imax(0,1−yi(w⊺xi+b)) \frac{1}{2}\|w\|^2+C\sum_i\max(0,1-y_i(w^\intercal x_i+b)) ∥w∥2‖w‖2\|w\|^2max(0,1−yi(w⊺xi+b))max(0,1−yi(w⊺xi+b))\max(0,1-y_i(w^\intercal x_i+b)) 但是，对于硬边界SVM，整个目标函数只是 12∥w∥212‖w‖2 \frac{1}{2}\|w\|^2 是否意味着硬边界SVM仅使正则化函数最小化而没有任何损失函数？听起来很奇怪。 好吧，如果在这种情况下12∥w∥212‖w‖2\frac{1}{2}\|w\|^2是损失函数，我们可以称其为二次损失函数吗？如果是这样，为什么硬边界SVM的损失函数在软边界SVM中成为正则化器，并从二次损失变为铰链损失？

23 svm  loss-functions 

有没有人尝试使用支持向量回归进行时间序列预测？ 我了解支持向量机，部分了解支持向量回归，但是我不了解如何将其用于建模时间序列，尤其是多元时间序列。 我试图阅读一些论文，但是它们的水平太高了。谁能用外行的方式解释他们将如何工作，尤其是在多元时间序列方面？ 编辑：详细说明一下，让我尝试用股价示例进行说明。 假设我们有N天的股价。然后，对于每一天，我们可以构造一个特征向量，在一个简单的情况下，它可以是前一天的价格和当天的价格。每个特征向量的响应将是第二天的价格。因此，给定昨天的价格和今天的价格，目标是预测第二天的价格。我不明白的是，假设我们有六个月的训练数据，您如何将重点放在较新的特征向量上？

22 time-series  machine-learning  svm 

人们在处理带内核的SVM时为什么使用二次编程技术（例如SMO）？梯度下降有什么问题？不能与内核一起使用还是速度太慢（为什么？）。 这里有一些上下文：为了更好地理解SVM，我使用了Gradient Descent通过以下成本函数来训练线性SVM分类器： Ĵ（w，b ）= C∑我= 1米中号一个X （ 0 ，1 - ÿ（我）（wŤ⋅ X（我）+ b ））+1个2wŤ⋅ w ^J(w,b)=C∑i=1mmax(0,1−y(i)(wt⋅x(i)+b))+12wt⋅wJ(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \mathbf{x}^{(i)} + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w} 我正在使用以下符号： ww\mathbf{w}是模型的特征权重，是其偏差参数。bbb X（我）x(i)\mathbf{x}^{(i)}是第训练实例的特征向量。一世日ithi^\text{th} ÿ（我）y(i)y^{(i)}是实例的目标类（-1或1）。一世日ithi^\text{th} 米mm是训练实例的数量。 CCC是正则化超参数。 我从该方程式导出了一个（子）梯度向量（关于和），而Gradient Descent效果很好。ww\mathbf{w}bbb 现在，我想解决非线性问题。我可以在成本函数中用替换所有点积，其中是内核函数（例如高斯RBF，），然后使用演算来导出（子）梯度向量并继续进行Gradescent Descent？üŤ⋅ vüŤ⋅v\mathbf{u}^t \cdot …

21 svm  kernel-trick  gradient-descent 

数据具有许多功能（例如100个），实例数量大约为100,000。数据稀疏。我想使用逻辑回归或svm拟合数据。我如何知道要素是线性的还是非线性的，以便在非线性的情况下可以使用内核技巧？

21 machine-learning  logistic  svm  data-mining 

我在C-SVC模式下使用2级多项式内核的libsvm，并且需要训练多个SVM。每个训练集都有10个特征和5000个向量。在训练过程中，我收到有关我训练的大多数SVM的警告： WARNING: reaching max number of iterations optimization finished, #iter = 10000000 有人可以解释这个警告的含义，以及如何避免它吗？ 我还想对我的模型进行交叉验证，以便确定γ和C（正则化）的最佳选择。我的计划是仅尝试这10个值的每种组合：两个参数都为0.00001、0.0001、0.001、0.01、0.1、1、10、100、1000、10000，然后看看哪种组合在交叉验证期间产生最佳精度。这够了吗？我应该在此间隔中使用更多的值，还是应该选择更大的间隔？

20 machine-learning  cross-validation  svm  regularization  libsvm 

我正在研究睡眠阶段分类。我阅读了一些有关此主题的研究文章，其中许多使用SVM或集成方法。使用卷积神经网络对一维脑电信号进行分类是个好主意吗？ 我是这种工作的新手。请问我有什么问题吗？

20 neural-networks  svm  conv-neural-network  signal-processing