Questions tagged «laplace-smoothing»

我今天正在阅读朴素贝叶斯分类法。我在Parameter Estimation的标题下加上了1 smoothing进行了阅读： 令指代一个类（例如正或负），而令指代一个标记或单词。cccwww 用于最大似然估计是P(w|c)P(w|c)P(w|c)count(w,c)count(c)=counts w in class ccounts of words in class c.count(w,c)count(c)=counts w in class ccounts of words in class c.\frac{count(w,c)}{count(c)} = \frac{\text{counts w in class c}}{\text{counts of words in class c}}. 这种估计可能会产生问题，因为它会使单词未知的文档的概率为。解决此问题的常用方法是使用拉普拉斯平滑。P(w|c)P(w|c)P(w|c)000 令V为训练集中的单词集合，向单词集合添加一个新元素（未知）。UNKUNKUNK 定义P(w|c)=count(w,c)+1count(c)+|V|+1,P(w|c)=count(w,c)+1count(c)+|V|+1,P(w|c)=\frac{\text{count}(w,c) +1}{\text{count}(c) + |V| + 1}, 其中表示词汇表（训练集中的单词）。VVV 特别是，任何未知单词的概率都为 1count(c)+|V|+1.1count(c)+|V|+1.\frac{1}{\text{count}(c) + |V| + 1}. 我的问题是：为什么我们要完全不理会Laplace平滑处理？如果我们在测试集中遇到的这些未知单词的概率显然几乎为零，即，将它们包括在模型中有什么意义？为什么不忽略它们并删除它们呢？ …

27 machine-learning  classification  text-mining  naive-bayes  laplace-smoothing 

如果统一，和滨，然后的后平均由下式给出。p∼p∼p \sim(0,1)(0,1)(0,1)X∼X∼X \sim(n,p)(n,p)(n, p)pppX+1n+2X+1n+2\frac{X+1}{n+2} 这个估算器有一个通用名称吗？我发现它解决了很多人的问题，我希望能够为人们提供参考，但是却找不到合适的名称。 我隐约记得在统计101本书中，它被称为“ + 1 / + 2估计器”，但这不是一个非常可搜索的术语。

11 bayesian  terminology  laplace-smoothing 

在拉普拉斯平滑（或加法平滑）的维基百科文章中，据说从贝叶斯角度来看， 这使用参数为先验的对称Dirichlet分布对应于后验分布的期望值。αα\alpha 我对这到底是怎么回事感到困惑。有人可以帮助我了解这两件事是如何等效的吗？ 谢谢！

11 bayesian  smoothing  dirichlet-distribution  laplace-smoothing 

示例：我的职位描述中有一句话：“英国Java高级工程师”。 我想使用深度学习模型将其预测为2类：English 和IT jobs。如果我使用传统的分类模型，则只能预测softmax最后一层具有功能的标签。因此，我可以使用2个模型神经网络来预测两个类别的“是” /“否”，但是如果我们有更多类别，那就太贵了。那么，我们是否有任何深度学习或机器学习模型可以同时预测2个或更多类别？ “编辑”：使用传统方法使用3个标签，它将由[1,0,0]编码，但在我的情况下，它将由[1,1,0]或[1,1,1]编码 示例：如果我们有3个标签，并且所有这些标签都适合一个句子。因此，如果softmax函数的输出为[0.45，0.35，0.2]，我们应该将其分类为3个标签或2个标签，或者可以是一个？我们这样做的主要问题是：分类为1个，2个或3个标签的最佳阈值是多少？

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty