Questions tagged «estimation»

这个标签太笼统了。请提供更具体的标签。对于有关特定估计量属性的问题，请改用[estimators]标签。

3
如何获得总体r平方变化的置信区间
为了简单的示例，假设有两个线性回归模型 模型1有三个预测，x1a，x2b，和x2c 模型2具有从模型1 3个预测和两个附加的预测x2a和x2b 有一个种群回归方程，其中模型1 解释的种群方差为，模型解释为 。模型2解释的种群中的增量方差为ρ2(1)ρ(1)2\rho^2_{(1)}ρ2(2)ρ(2)2\rho^2_{(2)}Δ ρ2= ρ2（2 ）- ρ2（1 ）Δρ2=ρ(2)2−ρ(1)2\Delta\rho^2 = \rho^2_{(2)} - \rho^2_{(1)} 我有兴趣获取\ Delta \ rho ^ 2的估计量的标准误差和置信区间Δ ρ2Δρ2\Delta\rho^2。虽然该示例分别涉及3个和2个预测变量，但我的研究兴趣涉及大量不同数量的预测变量（例如5个和30个）。我首先想到的是使用 Δ [R2一dĴ= r2一dj （2 ）- - [R2一dĴ （1 ）Δradj2=radj(2)2−radj(1)2\Delta r^2_{adj} = r^2_{adj(2)} - r^2_{adj(1)}作为估计量并进行引导，但是我不确定是否会适当的。 问题 是Δ [R2一dĴΔradj2\Delta r^2_{adj}一个合理的估计Δ ρ2Δρ2\Delta \rho^2？ 如何获得总体r平方变化的置信区间（即Δ ρ2Δρ2\Delta\rho^2）？ 引导Δ ρ2Δρ2\Delta\rho^2是否适合计算置信区间？ 任何对模拟或已发表文献的引用也将受到欢迎。 范例程式码 如果有帮助，我在R中创建了一个小的模拟数据集，可用于演示答案： …
1
统计用于机器学习，论文开始吗？
我具有计算机编程和基本数论方面的背景，但没有进行过实际的统计学培训，并且最近“发现”了一系列技术的惊人领域实际上是一个统计领域。看来矩阵分解，矩阵完成，高维张量，嵌入，密度估计，贝叶斯推断，马尔可夫分区，特征向量计算，PageRank都是高度统计技术，并且使用此类事物的机器学习算法会使用大量统计数据。 我的目标是能够阅读讨论此类问题的论文，并实现或创建算法，同时了解所使用的符号，“证明”和统计参数。我猜最难的是遵循涉及矩阵的所有证明。 哪些基本论文可以帮助我入门？还是一本值得练习的好教科书？ 具体来说，我想完全理解的一些文章是： 通过凸优化实现精确的矩阵完成，Candes，Reckt，2008年 快速柯西变换和快速鲁棒线性回归，克拉克森等，2013年 支持向量机的随机投影，Paul等，2013 使用深度密度模型进行高维概率估计，Rippel，Adams，2013年 获取低秩矩阵完成的最小化误差估计和通用明智误差界，Király，Theran，2013年
1
时间事件的长尾分布
假设您具有Web服务器的日志。在这些日志中，您具有以下类型的元组： user1, timestamp1 user1, timestamp2 user1, timestamp3 user2, timestamp4 user1, timestamp5 ... 这些时间戳表示例如用户的点击。现在，user1它将在一个月内多次访问该网站（会话），并且您在每个会话期间都会获得来自每个用户的点击次数激增（假设当用户访问您的网站时，他将点击多个页面）。 假设您希望在产生点击的会话中对这些点击次数进行分区，但是您没有任何其他信息源，只有时间戳列表。如果您计算来自同一用户的两次点击之间的间隔分布，则将获得长尾分布。直观地，您会寻找一个“剪切参数”，例如N秒，如果为timestamp_{i+1} - timestamp{i} > N，则您timestamp_{i+1}是新会话的开始。 问题在于，这种分布实际上是两个变量的混合：X =“同一会话中两次随之而来的点击之间的间隔”和Y =“上一次会话的最后点击与新会话中的第一次单击之间的间隔”。 问题是，仅通过查看点击次数，如何估算这个N，即可将两个分布（可能会有些重叠）分开？
1
为什么Anova（）和drop1（）为GLMM提供了不同的答案？
我有以下形式的GLMM： lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) 当我使用时drop1(model, test="Chi")，我得到的结果与Anova(model, type="III")从汽车包装或汽车上获得的结果不同summary(model)。后两个给出相同的答案。 通过使用大量虚构数据，我发现这两种方法通常没有区别。对于平衡线性模型，不平衡线性模型（不同组中的n不相等）和平衡广义线性模型，它们给出相同的答案，但对于平衡广义线性混合模型，它们给出相同的答案。因此看来，只有在包括随机因素的情况下，这种矛盾才会显现出来。 为什么这两种方法之间存在差异？ 使用GLMM时应使用Anova()还是drop1()应使用？ 至少就我的数据而言，两者之间的差异很小。哪一个使用都重要吗？
10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 
1
从某种意义上说，样本均值是分布的“最佳”估计值均值吗？
通过大量的（弱/强）法，给出了一些独立同分布的采样点分布的，它们的样本均值˚F *（{ X 我，我= 1 ，... ，N } ）：= 1{ x一世∈ [Rñ，i = 1 ，… ，N}{xi∈Rn,i=1,…,N}\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}在样本量N趋于 无穷大时，在概率和概率上均收敛于分布均值。F∗（{ x一世，i = 1 ，… ，N} ）：= 1ñ∑ñ我= 1X一世f∗({xi,i=1,…,N}):=1N∑i=1Nxif^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i ñNN 当样本量固定时，我想知道LLN估计量f *在某种意义上是否是最佳估计量？例如，ñNNF∗f∗f^* 它的期望是分布均值，因此它是一个无偏估计量。方差为其中σ2是方差分布。但这是UMVU吗？σ2ñσ2N\frac{\sigma^2}{N}σ2σ2\sigma^2 是否有一些函数使得f ∗（{ x i，i = 1 ，… ，N } ）解决了最小化问题：f ∗（{ x i，i = 1 …
3
不可衡量的事件的概率
从测度理论中我们知道，有些事件是无法测度的，也就是说，它们是不可测量的。我们怎么称呼没有定义概率度量的事件？我们将对此类事件做出哪些类型的陈述？
2
M估计器收敛到真实均值的条件
给定来自高斯分布和M估计量的iid样本，，上的哪些属性足以保证的概率？是是严格凸和严格递增足够了吗？X1,...,Xn∼N(μ,σ)X1,...,Xn∼N(μ,σ)X_1,...,X_n \sim N(\mu,\sigma) μm=argmina∑ρ(|Xi−a|)μm=argmina∑ρ(|Xi−a|)\mu_m = \underset{a}{\operatorname{argmin}} \sum\rho(|X_i-a|)ρρ\rhoμm→μμm→μ\mu_m \rightarrow \muρρ\rho
10 estimation 
3
如何从数据样本中估计Zipf截断分布的参数？
我对Zipf的估算参数有问题。我的情况如下： 我有一个样本集（从产生应遵循Zipf分布的调用的实验中测得）。我必须证明此生成器确实会生成带有zipf分发的调用。我已经阅读了此问答，如何从一组最高频率中计算Zipf定律系数？但由于使用了截短的分布，所以结果很差。例如，如果我在生成过程中将“ s”值设置为“ 0.9”，则如果我尝试估算报告的“问题与答案”中所写的“ s”值，那么我将获得等于0.2 ca的“ s”。我认为这是由于我使用了TRUNCATED发行版（我必须用截断点来限制zipf，它被右截断了）。 如何使用截断的zipf分布估算参数？
3
指数模型的估计
指数模型是由下面的等式所描述的模型： ÿ一世^= β0⋅ èβ1个X1 我+ … + βķXķ 我yi^=β0⋅eβ1x1i+…+βkxki\hat{y_{i}}=\beta_{0}\cdot e^{\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}} 用于估计此类模型的最常见方法是线性化，可以通过计算双方的对数轻松完成。还有哪些其他方法？在某些观察中，我对那些能够处理特别感兴趣ÿ一世= 0yi=0y_{i}=0。 更新31.01.2011 我知道这个模型不能产生零的事实。我将详细说明我要建模的内容以及为什么选择此模型。假设我们要预测客户在商店中花了多少钱。当然，许多客户只是在寻找而他们什么都没买，这就是为什么有0的原因。我不想使用线性模型，因为它会产生很多负值，这毫无意义。另一个原因是该模型的确非常好，比线性模型好得多。我已经使用遗传算法估算了这些参数，因此它不是“科学”的方法。现在，我想知道如何使用更科学的方法来解决问题。也可以假设大多数或什至所有变量都是二进制变量。
1
找到
设X1,X2,...,XnX1,X2,...,XnX_1, X_2, . . . , X_n是具有pdf的iid随机变量 fX(x∣θ)=θ(1+x)−(1+θ)I(0,∞)(x)fX(x∣θ)=θ(1+x)−(1+θ)I(0,∞)(x)f_X(x\mid\theta) =\theta(1 +x)^{−(1+\theta)}I_{(0,\infty)}(x) 其中θ>0θ>0\theta >0。给出1的UMVUE1θ1θ\frac{1}{\theta}并计算其方差 我了解了两种用于获得UMVUE的方法： 克莱默罗下界（CRLB） 莱曼-舍夫·特莱姆 我将尝试使用两者中的前者。我必须承认，我不完全了解这里发生的事情，而我的尝试解决方案是基于一个示例问题。我有一个fX(x∣θ)fX(x∣θ)f_X(x\mid\theta)是一个完整的单参数指数族与 h(x)=I(0,∞)h(x)=I(0,∞)h(x)=I_{(0,\infty)}，c(θ)=θc(θ)=θc(\theta)=\theta，w(θ)=−(1+θ)w(θ)=−(1+θ)w(\theta)=-(1+\theta)，t(x)=log(1+x)t(x)=log(1+x)t(x)=\text{log}(1+x) 由于w′(θ)=1w′(θ)=1w'(\theta)=1在ΘΘ\Theta上不为零，因此适用CRLB结果。我们有 log fX(x∣θ)=log(θ)−(1+θ)⋅log(1+x)log fX(x∣θ)=log(θ)−(1+θ)⋅log(1+x)\text{log }f_X(x\mid\theta)=\text{log}(\theta)-(1+\theta)\cdot\text{log}(1+x) ∂∂θlog fX(x∣θ)=1θ−log(1+x)∂∂θlog fX(x∣θ)=1θ−log(1+x)\frac{\partial}{\partial \theta}\text{log }f_X(x\mid\theta)=\frac{1}{\theta}-\text{log}(1+x) ∂2∂θ2log fX(x∣θ)=−1θ2∂2∂θ2log fX(x∣θ)=−1θ2\frac{\partial^2}{\partial \theta^2}\text{log }f_X(x\mid\theta)=-\frac{1}{\theta^2} 所以I1(θ)=−E(−1θ2)=1θ2I1(θ)=−E(−1θ2)=1θ2I_1(\theta)=-\mathsf E\left(-\frac{1}{\theta^2}\right)=\frac{1}{\theta^2} 和CRLB为的无偏估计τ(θ)τ(θ)\tau(\theta)是 [τ′(θ)]2n⋅I1(θ)=θ2n[τ′(θ)]2[τ′(θ)]2n⋅I1(θ)=θ2n[τ′(θ)]2\frac{[\tau'(\theta)]^2}{n\cdot I _1(\theta)} = \frac{\theta^2}{n}[\tau'(\theta)]^2 由于∑i=1nt(Xi)=∑i=1nlog(1+Xi)∑i=1nt(Xi)=∑i=1nlog(1+Xi)\sum_{i=1}^n t(X_i)=\sum_{i=1}^n \text{log}(1+X_i) 那么∑ni=1log(1+Xi)∑i=1nlog(1+Xi)\sum_{i=1}^n \text{log}(1+X_i)任何线性函数，或者等效地，1的任何线性函数1n∑ni=1log(1+Xi)1n∑i=1nlog(1+Xi)\frac{1}{n}\sum_{i=1}^n \text{log}(1+X_i)，将达到其期望的CRLB，因此将成为其期望的UMVUE。由于E(log(1+X))=1θE(log(1+X))=1θ\mathsf E(\text{log}(1+X))=\frac{1}{\theta}我们的UMVUE为1θ1θ\frac{1}{\theta}是1n∑ni=1log(1+Xi)1n∑i=1nlog(1+Xi)\frac{1}{n}\sum_{i=1}^n \text{log}(1+X_i) 对于天然的参数，我们可以让η=−(1+θ)⇒θ=−(η+1)η=−(1+θ)⇒θ=−(η+1)\eta=-(1+\theta)\Rightarrow \theta=-(\eta+1) …
3
评估PDF估算方法的最佳方法
我希望检验一些我认为比我所见过的更好的想法。我可能是错的，但我想通过更确定的观察来检验我的想法并消除怀疑。 我一直想做的事情如下： 分析性地定义一组分布。其中一些很简单，例如高斯，统一或高帽。但是其中有些必须是困难且具有挑战性的，例如Simpsons发行。 根据这些分析分布实施软件，并使用它们生成一些样本。 由于这些分布是经过分析定义的，因此，按照定义，我已经知道它们的真实PDF。这很棒。 然后，我将针对以上示例测试以下PDF估计方法： 现有的PDF估计方法（例如具有各种内核和带宽的KDE）。 我认为值得尝试的我自己的想法。 然后，我将根据真实的PDF测量估计的误差。 然后，我将更好地了解哪种PDF估计方法是好的。 我的问题是： Q1：我上面的计划有什么改进吗？ Q2：我发现很难解析地定义许多真实的PDF。是否已经有了许多分析定义的真实PDF的完整列表，这些PDF在各种困难（包括非常困难的困难）下都可以在这里重用？
1
具有的最小方差的无偏估计量
让X1个，。。。，XñX1个，。。。，Xñ X_1, ...,X_n 成为分布的随机样本 ģ Ë ø 米é 吨ř 我Ç （θ ）GËØ米ËŤ[R一世C（θ）Geometric(\theta) 对于 0 &lt; θ &lt; 10&lt;θ&lt;1个0<\theta<1。即 pθ（X ）= θ （1 - θ）x − 1一世{ 1 ，2 ，。。。}（x ）pθ（X）=θ（1个-θ）X-1个一世{1个，2，。。。}（X）p_{\theta}(x)=\theta(1-\theta)^{x-1} I_{\{1,2,...\}}(x) 查找具有最小方差的无偏估计量 G（θ ）=1个θG（θ）=1个θg(\theta)=\frac{1}{\theta} 我的尝试： 由于几何分布来自指数族，因此统计 ∑X一世∑X一世\sum X_i 完整且足够 θθ \theta。另外，如果Ť（X）=X1个Ť（X）=X1个T(X)=X_1 是一个估计 G（θ ）G（θ）g(\theta)，这是公正的。因此，根据Rao-Blackwell定理和Lehmann-Scheffé定理， w ^（X）= E[X1个| ∑X一世]w ^（X）=Ë[X1个|∑X一世]W(X) = …
3
估计数据概率分布的不同非参数方法
我有一些数据，正在尝试拟合一条平滑曲线。但是，我不想对此施加太大的先验信念或过于强烈的先入之见（我的其余问题所隐含的那些除外）或任何特定的分布。 我只是想用一些平滑的曲线拟合它（或者对它可能来自的概率分布有一个很好的估计）。我知道的唯一方法是内核密度估计（KDE）。我想知道，人们是否知道其他估算此类事物的方法。我只想要它们的列表，然后就可以进行自己的研究以找出要使用的列表。 始终欢迎（并鼓励）提供任何链接或好的参考文献（或关于哪种参考文献的直觉）！
3
估计均匀分布的参数：不正确的先验？
我们有N个样本 X一世XiX_i，从均匀分布 [0，θ][0,θ][0,\theta] 哪里 θθ\theta未知。估计θθ\theta 从数据。 因此，贝叶斯法则... F（θ|X一世）=F（X一世|θ）F（θ）F（X一世）f(θ|Xi)=f(Xi|θ)f(θ)f(Xi)f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})} 可能是： F（X一世|θ）=∏ñ一世=1个1个θf(Xi|θ)=∏Ni=11θf({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta} （编辑：何时 0≤X一世≤θ0≤Xi≤θ0 \le X_i \le \theta 对所有人 一世ii，否则为0-感谢whuber） 但是没有其他信息 θθ\theta，似乎事前应该与 1个11 （即制服）或 1个大号1L\frac{1}{L} （杰弗里斯事前？） [0，∞][0,∞][0,\infty]但是然后我的积分不收敛，我不确定如何进行。有任何想法吗？
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.