Questions tagged «entropy»

预报员面临的重要问题之一是给定的序列是否 可以预报？ 我偶然发现了彼得·卡特（Peter Catt）题为“ 熵作为可预测性的先验指标 ”的文章，该文章使用近似熵（ApEn） 作为确定给定时间序列的相对度量是可预测的。 文章说， “较小的ApEn值表示一组数据后面将跟随相似数据的可能性较大（规则性）。相反，较大的ApEn值表示重复相似数据的可能性较小（规则性）。因此，较大的ApEn值会带来更多混乱，随机性和系统复杂性。” 然后是用于计算ApEn的数学公式。这是一个有趣的方法，因为它提供了一个可用于相对意义上评估可预测性的数值。我不知道“近似熵”的含义，我正在阅读有关它的更多内容。 有一个叫包pracma中R，可以让你计算近似熵。为了说明目的，我使用了3个不同的时间序列并计算了ApEn数。 系列1：著名的AirPassenger时间序列-具有高度确定性，我们应该能够轻松进行预测。 系列2：黑子时间序列-定义明确，但比系列1更难预测。 系列3：随机数无法预测此系列。 因此，如果我们计算ApEn，则系列1应该小于系列2，而系列3应该非常非常少。 以下是为所有三个系列计算ApEn的R代码段。 library("pracma") > series1 <- approx_entropy(AirPassengers) > series1 [1] 0.5157758 > series2 <- approx_entropy(sunspot.year) > series2 [1] 0.762243 > series3 <- approx_entropy(rnorm(1:30)) > series3 [1] 0.1529609 这不是我所期望的。随机序列的数目比定义明确的AirPassenger序列的数目要少。即使将随机数增加到100，我仍然得到以下值，该值小于定义明确的2 / Sunspot.yealry系列。 > series3 <- approx_entropy(rnorm(1:100)) > series3 …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

试图了解交叉熵和困惑之间的关系。通常对于模型M，Perplexity（M）= 2 ^ entropy（M）。这种关系是否适用于所有不同的n-gram，即unigram，bigram等？

10 natural-language  entropy  perplexity 

我观察到Caffe（深度学习框架）使用Softmax损失层 SoftmaxWithLoss作为大多数模型样本的输出层。 据我所知，Softmax损失层是多项逻辑损失层和Softmax层的组合。 他们从Caffe说 Softmax损失层梯度计算在数值上更稳定 但是，这种解释不是我想要的答案，它只是比较多项逻辑损失层和Softmax损失层的组合，而不是逐层进行比较。但是不能与其他类型的损失函数相比较。 但是，我想更多地了解在监督学习的角度来看这3个误差函数（即多项式Lo​​gistic损失，交叉熵（CE）和平方误差（SE））的区别/优点/缺点是什么？有支持文章吗？

9 multinomial  entropy  sums-of-squares  softmax 

我正在尝试理解逐点相互信息的规范化形式。 n p m i =p m i （x ，y）升Ò 克（p （x ，y））ñp米一世=p米一世（X，ÿ）升ØG（p（X，ÿ））npmi = \frac{pmi(x,y)}{log(p(x,y))} 为什么对数联合概率将逐点相互信息归一化为[-1，1]之间？ 逐点相互信息是： pmi=log(p(x,y)p(x)p(y))pmi=log(p(x,y)p(x)p(y))pmi = log(\frac{p(x,y)}{p(x)p(y)}) p（x，y）的边界是[0，1]，所以log（p（x，y））的边界是（，0]。看来log（p（x，y））应该以某种方式平衡变化分子，但是我不知道怎么做，这也让我想起了熵 h=−log(p(x))h=−log(p(x))h=-log(p(x))，但我仍然不了解确切的关系。

9 entropy  information-theory  mutual-information 

简短的问题：为什么如此？ 长问题： 很简单，我试图找出第一个方程式的理由。我正在阅读的书的作者（如果需要，请在此处提供，但不是必需的）声称以下内容： 由于存在近似高斯的假设，我们可以这样写： p0（ξ）= Aϕ （ξ）e x p （一个n + 1ξ+ （一个n + 2+1个2）ξ2+∑我= 1ñ一个一世G一世（ξ））p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ)) p_0(\xi) = A \; \phi(\xi) \; exp( a_{n+1}\xi + (a_{n+2} + \frac{1}{2})\xi^2 + \sum_{i=1}^{n} a_i G_i(\xi)) 其中是具有最大熵的观测数据的PDF，假设您仅观测到一系列期望（简单数），其中和是标准化高斯变量的PDF，即0个均值和单位方差。p0（ξ）p0(ξ)p_0(\xi)C一世，我= 1 。。。ñci,i=1...nc_i, i = 1 ... nC一世= E {G一世（ξ）}ci=E{Gi(ξ)}c_i = \mathbb{E}\{G_i(\xi)\}ϕ （ξ）ϕ(ξ)\phi(\xi) 所有这些都是他将上述方程式作为简化PDF的出发点，我知道他是怎么做的，但我没有得到他如何证明上述方程式的正当性，即，起点。p0（ξ）p0(ξ)p_0(\xi) 我试图保持简短，以免混淆任何人，但是如果您需要其他详细信息，请在评论中让我知道。谢谢！

9 probability  normal-distribution  entropy  maximum-entropy 

因此，我进行了16次试验，试图使用汉明距离从生物特征中鉴定一个人。我的阈值设置为3.5。我的数据如下，只有试验1为“真阳性”： Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 11 0.42 12 0.37 13 0.66 14 0.39 15 0.44 16 0.39 我的困惑是，我真的不确定如何根据此数据制作ROC曲线（FPR与TPR或FAR与FRR）。哪一个都不重要，但是我只是对如何进行计算感到困惑。任何帮助，将不胜感激。

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

问候， 目前，我正在R中执行以下操作： require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) summary.csv的片段： date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 2007-07-27,17,model.xml,115,16,26,6,4740,1056,53,777 2007-08-09,18,model.xml,106,16,26,7,4966,1136,47,761 2007-08-10,19,model.xml,106,16,26,7,4968,1150,4,202 2007-09-06,81,model.xml,111,16,26,7,5110,1167,13,258 ... 最后两行绘制了我需要的信息，其结果类似于以下内容： 蓝线是我感兴趣的工件的熵（以字节为单位）。绿线代表变化的熵。 现在，在此图中，它的效果很好，因为比例没有太大差异。但是我还有其他图表，其中的绿线变得很小，一个人看不到。 我正在寻找的解决方案涉及两件事： …

9 r  time-series  data-visualization  entropy