Questions tagged «theory»

在哪种情况下，您是否希望在模型拟合之前缩放或标准化变量？缩放变量有哪些优点/缺点？

56 modeling  predictive-models  feature-selection  theory  standardization 

Al Rahimi最近发表了非常挑衅的讲话在NIPS 2017上做，将当前的机器学习与炼金术进行了比较。他的主张之一是，我们需要回到理论发展上，以得到证明基本结果的简单定理。 当他这么说的时候，我开始寻找ML的主要定理，但找不到能很好理解主要结果的参考。所以这是我的问题：ML / DL中当前的主要数学定理（理论）是什么，它们证明了什么？我猜想瓦普尼克的工作会在这里进行。另外，主要的理论开放问题是什么？

45 machine-learning  deep-learning  theory 

主要思想是什么，即与贝叶斯定理有关的概念？我不要求任何复杂的数学符号的派生。

36 probability  bayesian  theory 

我父亲是一个数学爱好者，但对统计学并不感兴趣。尝试说明一些精彩的统计数据将很巧妙，而CLT是最佳的选择。您将如何将中心极限定理的数学美和影响传达给非统计师？

33 theory  central-limit-theorem 

我从一个非常基本的，最低要求的角度考虑这个问题。行业（而非学术）统计人员应定期了解，理解和利用的主要理论是什么？ 我想到的一个大数字是大数定律。将统计理论应用到数据分析中最重要的是什么？

30 theory  careers  law-of-large-numbers 

我一直在进行机器学习竞赛，他们使用RMSLE（均方根对数误差）评估性能，从而预测一类设备的销售价格。问题是我不确定如何解释最终结果的成功。 例如，如果我达到了的RMSLE，是否可以将它的指数幂提高并像rmse一样解释它？（即）？e e 1.052 = 2.863 = R M S E1.0521.0521.052ËËeË1.052= 2.863 = R M小号ËË1.052=2.863=[R中号小号Ëe^{1.052}=2.863=RMSE 然后，我能否说我的预测平均为实际价格的？还是有更好的方法来解释指标？还是除了与其他模型的其他RMSLE进行比较外，甚至可以完全解释该指标？ ± $ 2.863±$2.863\pm \$2.863

29 regression  machine-learning  interpretation  measurement-error  theory 

另请参阅有关stats.SE的类似问题。 在AdaBoost和LPBoost之类的增强算法中，从Wikipedia已知，要合并的“弱”学习者只需要表现好于有用的机会即可。 它使用的分类器可能很弱（即显示出很大的错误率），但是只要它们的性能不是随机的（二进制分类的错误率是0.5），它们就会改善最终模型。即使错误率高于随机分类器期望值的分类器也将是有用的，因为它们在分类器的最终线性组合中将具有负系数，因此表现得像它们的逆。 与强者相比，弱者有什么好处？（例如，为什么不采用“强”的学习方法来提高学习能力呢？ 弱者有某种“最佳”的力量吗？这与合奏中的学习人数有关吗？ 是否有任何理论来支持这些问题的答案？

28 machine-learning  theory  boosting 

我刚刚碰到了这篇论文，该论文描述了如何通过混合效应建模来计算测量的可重复性（又称可靠性，又称类内相关性）。R代码为： #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = intercept_var/(intercept_var+residual_var) #compute n0, the repeatability adjustment n = as.data.frame(table(my_data$unit)) k = nrow(n) N = sum(n$Freq) n0 = (N-(sum(n$Freq^2)/N))/(k-1) #compute the adjusted repeatability Rn = …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

最著名的强盗算法是上置信界（UCB），它使此类算法普及。从那时起，我认为现在有了更好的算法。当前的最佳算法是什么（从经验性能或理论范围而言）？从某种意义上说，该算法是否最优？

27 machine-learning  algorithms  theory  reinforcement-learning  multiarmed-bandit 

我一直在想，为什么进行原理/理论机器学习如此重要？从个人的角度来看，我可以理解为什么有原则的机器学习如此重要： 人类喜欢了解自己在做什么，我们就会找到美丽和满足感。 从理论上讲，数学很有趣 当存在指导事物设计的原则时，花在随机猜测，怪异的试验和错误上的时间会更少。例如，如果我们了解神经网络是如何工作的，也许我们可以花更多的时间设计它们，而不是现在投入大量的试验和错误。 最近，如果原则很明确，理论也很明确，那么（希望）对系统更加透明。这很好，因为如果我们了解系统在运行什么，那么AI就有很多人大肆宣传的风险会立即消失。 原则似乎是总结世界可能具有的重要结构以及何时使用一种工具而非另一种工具的一种简洁方法。 但是，这些理由是否真的足以证明对机器学习进行深入的理论研究是正确的？对理论的最大批评之一是，由于很难做到，他们通常最终会研究一些非常有限的案例，或者必须提出的假设实质上使结果无用。我想我曾经在Tor的创造者在麻省理工学院的一次演讲中听到过这一点。他听到的对托尔的一些批评只是理论上的争论，但从本质上讲，人们却无法证明有关现实生活中真实场景的事物，因为它们是如此复杂。 在这个拥有如此强大的计算能力和数据的新时代，我们可以使用真实的数据集和测试集来测试我们的模型。我们可以通过经验主义来观察事物是否起作用。如果我们能够获得能够与工程学和经验主义相结合的AGI或系统，那么仍然值得为机器学习追求原理和理论上的证明，尤其是当量化界限如此难以实现时，而直觉和定性答案则更容易实现用数据驱动的方法来实现？这种方法在古典统计学中不可用，这就是为什么我认为理论在那个时代如此重要的原因，因为数学是我们可以确保事物正确的唯一方法，或者它们可以按照我们认为的方式实际起作用。 我个人一直很喜欢并且认为理论和原则性方法很重要。但是，凭借能够尝试使用实际数据进行处理的能力和计算能力，使我感到怀疑的是，理论追求的高努力（可能是低回报）仍然值得吗？ 机器学习的理论和原则追求真的那么重要吗？

25 machine-learning  neural-networks  conv-neural-network  theory 

有关正确评分规则的大多数资源都提到了许多不同的评分规则，例如对数损失，Brier评分或球形评分。但是，它们之间通常没有太多指导。（图表A：维基百科。） 选择使对数得分最大的模型对应于选择最大似然模型，这似乎是使用对数评分的一个很好的论据。对于Brier或球形评分或其他评分规则是否有类似的理由？为什么有人使用这些评分之一而不是对数评分？

22 machine-learning  classification  model-selection  theory  scoring-rules 

说“方差是有偏差的估计量”是什么意思。 通过一个简单的公式将有偏估计转换为无偏估计是什么意思。这种转换究竟能做什么？ 另外，此转换的实际用途是什么？使用某些统计信息时，您会转换这些分数吗？

21 theory  unbiased-estimator  descriptive-statistics 

具体来说，我正在寻找参考资料（论文，书籍），这些参考资料将严格显示和解释维数的诅咒。在我开始阅读Lafferty和Wasserman的白皮书后，出现了这个问题。在第三段中，他们提到了一个“众所周知的”方程，这意味着最佳收敛速度为；如果有人可以对此进行阐述（并加以解释），那将非常有帮助。ñ− 4 /（4 − d）n−4/(4−d)n^{-4/(4-d)} 另外，有人能指出我引用衍生“公知”方程式的参考吗？

21 theory 

我有兴趣了解有关非参数贝叶斯（及相关）技术的更多信息。我的背景是计算机科学，尽管我从未参加过度量理论或概率论的课程，但是我对概率和统计学的正规培训数量有限。谁能推荐这些概念的可读介绍来帮助我入门？

21 probability  bayesian  references  theory 

我想知道是否有人知道或统计中是否存在需要估算器的强一致性而不是弱一致性的应用程序。也就是说，强一致性对于应用程序是必不可少的，并且应用程序不能以弱一致性工作。

20 hypothesis-testing  theory  asymptotics  estimators  consistency