Questions tagged «unbiased-estimator»

环境样品的化学分析通常低于报告限值或各种检测/定量限值。后者通常可以与其他变量的值成比例地变化。例如，可能需要稀释一种化合物的高浓度样品进行分析，从而导致该样品中同时分析的所有其他化合物的检测限按比例膨胀。再举一个例子，有时化合物的存在会改变测试对其他化合物的响应（“基质干扰”）。当实验室检测到这种情况时，它将相应地提高其报告限值。 我正在寻找一种实用的方法来估算此类数据集的整个方差-协方差矩阵，尤其是当许多化合物经历了超过50％的检查时，这种情况经常发生。传统的分布模型是（真实）浓度的对数呈多态正态分布，这在实践中似乎很合适，因此针对这种情况的解决方案将很有用。 （“实用”是指一种方法，该方法可以在至少一个普遍可用的软件环境（例如R，Python，SAS等）中可靠地进行编码，并且其执行速度足以支持迭代的重新计算（例如多次插补），且这种情况相当稳定[这就是为什么我不愿探索BUGS实现的原因，尽管通常欢迎使用贝叶斯解决方案]。 预先非常感谢您对此事的想法。

22 correlation  estimation  censoring  covariance-matrix  unbiased-estimator 

说“方差是有偏差的估计量”是什么意思。 通过一个简单的公式将有偏估计转换为无偏估计是什么意思。这种转换究竟能做什么？ 另外，此转换的实际用途是什么？使用某些统计信息时，您会转换这些分数吗？

21 theory  unbiased-estimator  descriptive-statistics 

在经典统计中，有一个定义是将一组数据的统计量定义为对于参数是完整的，因此不可能从中简单地形成的无偏估计量。也就是说，使所有的唯一方法是几乎肯定地使为。TTTy1,…,yny1,…,yny_1, \ldots, y_nθθ\theta000Eh(T(y))=0Eh(T(y))=0E h(T (y )) = 0θθ\thetahhh000 这背后有直觉吗？似乎这是一种比较机械的定义方式，我知道以前已经有人问过这个问题，但是我想知道是否存在一种非常容易理解的直觉，这会使入门级学生更容易地消化材料。

21 mathematical-statistics  intuition  unbiased-estimator  definition  complete-statistics 

第一次进行正态分布蒙特卡洛模拟时，我感到有些震惊，发现个样本的标准偏差的平均值（样本大小均为n = 2）要小得多比，即平均\ sqrt {\ frac {2} {\ pi}}倍，即用于生成总体的\ sigma。但是，这是众所周知的，如果很少记起，并且我确实知道，或者我不会进行模拟。这是一个模拟。100100100100100100√n = 2ñ=2n=2 σ2π--√2π \sqrt{\frac{2}{\pi }}σσ\sigma 这是一个使用100，n = 2，\ text {SD}和\ text {E}（s_ {n = 2}）= \ sqrt \的估计量来预测N（0,1）的 95％置信区间的示例frac {\ pi} {2} \ text {SD}。ñ（0 ，1 ）ñ（0，1个）N(0,1)n = 2ñ=2n=2标清标清\text{SD}Ë （小号n = 2）= π2--√标清Ë（sñ=2）=π2标清\text{E}(s_{n=2})=\sqrt\frac{\pi}{2}\text{SD} RAND() RAND() Calc Calc N(0,1) N(0,1) SD …

20 normal-distribution  standard-deviation  expected-value  unbiased-estimator  umvue 

在一个观察密度为的分布的分布的环境中，我想知道是否存在一个对密度为另一分布即 的Hellinger距离的无偏估计量（基于）。X1,…,XnX1,…,XnX_1,\ldots,X_nfffXiXiX_if0f0f_0H(f,f0)={1−∫Xf(x)f0(x)−−−−−−−−√dx}1/2.H(f,f0)={1−∫Xf(x)f0(x)dx}1/2. \mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.

20 pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger 

我正在阅读《统计学习的要素》一书中的偏方差权衡一章，并对第29页的公式感到怀疑。让数据来自模型，使得Y=f(x)+ϵY=f(x)+ϵ Y = f(x)+\epsilon，其中ϵϵ\epsilon是具有期望值ε = ë [ ε ] = 0和方差。让该模型的误差的期望值是 其中是预测ϵ^=E[ϵ]=0ϵ^=E[ϵ]=0\hat{\epsilon} = E[\epsilon]=0E[(ϵ−ϵ^)2]=E[ϵ2]=σ2E[(ϵ−ϵ^)2]=E[ϵ2]=σ2E[(\epsilon - \hat\epsilon)^2]=E[\epsilon^2]=\sigma^2E[(Y−fk(x))2]E[(Y−fk(x))2] E[(Y-f_k(x))^2] fk(x)fk(x)f_k(x)xxx我们的学习者。根据这本书，误差为 E[(Y−fk(x))2]=σ2+Bias(fk)2+Var(fk(x)).E[(Y−fk(x))2]=σ2+Bias(fk)2+Var(fk(x)). E[(Y-f_k(x))^2]=\sigma^2+Bias(f_k)^2+Var(f_k(x)). 我的问题是为什么偏项不是0？开发错误的公式，我看到 E[(Y−fk(x))2]=E[(f(x)+ϵ−fk(x))2]=E[(f(x)−fk(x))2]+2E[(f(x)−fk(x))ϵ]+E[ϵ2]=Var(fk(x))+2E[(f(x)−fk(x))ϵ]+σ2E[(Y−fk(x))2]=E[(f(x)+ϵ−fk(x))2]=E[(f(x)−fk(x))2]+2E[(f(x)−fk(x))ϵ]+E[ϵ2]=Var(fk(x))+2E[(f(x)−fk(x))ϵ]+σ2 E[(Y-f_k(x))^2]=\\ E[(f(x)+\epsilon-f_k(x))^2]=\\ E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]=\\ Var(f_k(x))+2E[(f(x)-f_k(x))\epsilon]+\sigma^2 因为是一个独立的随机数ϵϵ\epsilon2E[(f(x)−fk(x))ϵ]=2E[(f(x)−fk(x))]E[ϵ]=02E[(f(x)−fk(x))ϵ]=2E[(f(x)−fk(x))]E[ϵ]=02E[(f(x)-f_k(x))\epsilon]=2E[(f(x)-f_k(x))]E[\epsilon]=0 我哪里错了？

20 machine-learning  unbiased-estimator  mse  bias-variance-tradeoff 

我正在使用Lasso在相对较低的尺寸设置（n >> p）中进行特征选择。拟合套索模型后，我想使用具有非零系数的协变量来拟合无惩罚的模型。我这样做是因为我想要无偏差的估计，而套索不能给我。我还希望无偏估计的p值和置信区间。 我很难找到有关该主题的文献。我发现的大多数文献都是关于将置信区间放在套索估计上，而不是重新拟合的模型。 根据我的阅读，仅使用整个数据集来重新拟合模型会导致不切实际的p值/ std错误。目前，样本分割（按照Wasserman和Roeder（2014年）或Meinshausen等人（2009年）的样式）似乎是一个不错的选择，但我正在寻找更多建议。 有没有人遇到这个问题？如果是这样，请您提供一些建议。

17 regression  feature-selection  lasso  unbiased-estimator 

对于正态分布，存在以下标准偏差的无偏估计量： σ^无偏见的= Γ （n − 12）Γ （n2）1个2∑k = 1ñ（x一世− x¯）2------------√σ^unbiased=Γ(n−12)Γ(n2)12∑k=1n(xi−x¯)2\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2} 这个结果之所以不太为人所知的原因似乎是，它很大程度上是一个古玩，而不是任何重要的事项。证明覆盖在这个线程上 ; 它利用了正态分布的关键属性： 1个σ2∑k = 1ñ（x一世− x¯）2〜χ2n − 11σ2∑k=1n(xi−x¯)2∼χn−12 \frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1} 从那里开始，只需做一些工作，就可以期望，并通过将此答案识别为的倍数，我们可以得出。σ σ无偏E （∑ñk = 1（x一世− x¯）2------------√）E(∑k=1n(xi−x¯)2)\mathbb{E}\left( \sqrt{\sum_{k=1}^n(x_i-\bar{x})^2} \right)σσ\sigmaσ^无偏见的σ^unbiased\hat{\sigma}_\text{unbiased} 这让我很好奇，哪些其他分布具有标准差的闭合形式的无偏估计量。与方差的无偏估计器不同，这显然是特定于分布的。此外，要适应证明以找到其他分布的估计量，并非易事。 偏态正态分布的二次形式具有良好的分布特性，我们使用的正态分布特性实际上是一种特殊情况（因为正态是偏态正态的一种特殊类型），因此也许很难将此方法扩展到他们。但是对于其他分配，似乎需要一种完全不同的方法。 是否存在其他已知此类估计量的分布？

16 mathematical-statistics  standard-deviation  unbiased-estimator 

关于线性混合模型随机效应的模型选择的各种描述指示使用REML。我在某种程度上知道REML和ML之间的区别，但是我不明白为什么要使用REML，因为ML有偏见。例如，使用ML对正态分布模型的方差参数进行LRT是否错误（请参见下面的代码）？我不明白为什么在模型选择中，没有偏见比成为ML更重要。我认为最终的答案必须是“因为REML的模型选择比ML的模型选择更好”，但我想知道的更多。我没有阅读LRT和AIC的派生词（我不足以全面了解它们），但是如果在派生词中明确使用REML，只是知道实际上就足够了（例如， n <- 100 a <- 10 b <- 1 alpha <- 5 beta <- 1 x <- runif(n,0,10) y <- rnorm(n,a+b*x,alpha+beta*x) loglik1 <- function(p,x,y){ a <- p[1] b <- p[2] alpha <- p[3] -sum(dnorm(y,a+b*x,alpha,log=T)) } loglik2 <- function(p,x,y){ a <- p[1] b <- p[2] alpha <- p[3] beta <- …

16 mixed-model  maximum-likelihood  unbiased-estimator  likelihood-ratio  reml 

假设你适合的线性/对数回归，具有的无偏估计的目的一个1g(y)=a0+a1⋅x1+a2⋅x2g(y)=a0+a1⋅x1+a2⋅x2g(y) = a_0 + a_1\cdot x_1 + a_2\cdot x_2。您是非常有信心，无论一个1和一个2相对于他们的估计噪声非常积极的。a1a2a1a2\frac{a_1}{a_2}a1a1a_1a2a2a_2 如果你有联合协，你可以计算出，或至少模拟了答案。有没有更好的方法，在现实生活中有大量数据的问题中，您在采用估计比率或半步并假设系数独立时会遇到多少麻烦？a1,a2a1,a2a_1, a_2

15 regression  regression-coefficients  unbiased-estimator  ratio 

对于线性模型，OLS解决方案为参数提供了最佳的线性无偏估计量。 当然，我们可以将偏差换成较低的方差，例如岭回归。但是我的问题是关于没有偏见。是否还有其他一些较常用的估计器，它们没有偏倚但与OLS估计的参数相比具有更高的方差？ 如果我有一个庞大的数据集，我当然可以对其进行二次采样，并用较少的数据估计参数，并增加方差。我认为这可能是有用的。 这更多是一个修辞性的问题，因为当我阅读有关BLUE估计量的信息时，没有提供更糟糕的选择。我猜想提供更差的选择还可以帮助人们更好地理解BLUE估计器的功能。

15 regression  least-squares  linear  unbiased-estimator  blue 

估计正态分布参数的常用方法是使用均值和样本标准差/方差。 但是，如果存在一些离群值，则中位数和与中位数的中位数偏差应该更健​​壮，对吗？ 在某些数据集我想，通过估计正态分布N(median(x),median|x−median(x)|)N(median(x),median|x−median(x)|)\mathcal{N}(\text{median}(x), \text{median}|x - \text{median}(x)|)似乎产生更好的配合比经典N(μ^,σ^)N(μ^,σ^)\mathcal{N}(\hat\mu, \hat\sigma)用平均值和RMS偏差。 如果您假设数据集中存在一些离群值，是否有任何理由不使用中位数？您知道这种方法的参考吗？在Google上进行快速搜索并没有发现有用的结果来讨论此处使用中位数的好处（但显然，“正态分布参数估计中位数”不是一组非常具体的搜索字词）。 中位数偏差，是否有偏差？我应该乘它n−1nn−1n\frac{n-1}{n}减少偏见？ 您是否知道其他分布（例如Gamma分布或指数修改的高斯分布）（在参数估计中需要偏度，而离群值确实弄乱了该值）的相似鲁棒参数估计方法吗？

15 normal-distribution  estimation  outliers  robust  unbiased-estimator 

据我了解，英国学校教导说使用以下方法可以找到标准偏差： 而美国学校则教： （无论如何都是基本水平）。 过去，这曾导致我的许多学生在Internet上进行搜索时遇到问题，但发现了错误的解释。 为什么会有所不同？ 如果使用简单的数据集（例如10个值），那么如果采用错误的方法（例如，在检查中），将会出现什么程度的错误？

15 standard-deviation  error  teaching  unbiased-estimator 

这个问题参考了Galit Shmueli的论文“解释或预测”。 具体而言，Shmueli教授在1.5节“解释和预测不同”中写道： 在解释性建模中，重点是最小化偏差以获得最准确的基础理论表示。 每当我读这篇论文时，这都会使我感到困惑。从什么意义上说，最小化估计偏差可以最准确地表示基础理论吗？ 我还在这里观看了Shmueli教授在2017年JMP探索峰会上的演讲，她说： ...像收缩模型，集合体之类的东西，您将永远不会看到它们。因为这些模型通过设计引入了偏差，以减少总体偏差/方差。这就是为什么他们不在那里的原因，这样做没有任何理论意义。您为什么要使模型有目的地偏见？ 这并不能真正阐明我的问题，只是重申我不理解的说法。 如果理论有很多参数，而我们没有足够的数据来估计它们，那么估计误差将由方差决定。为什么在这种情况下使用像岭回归这样的有偏估计程序（导致较低方差的有偏估计）是不合适的？

15 predictive-models  inference  bias  unbiased-estimator  explanatory-models 

这是一个后续的也是不同的问题，我以前的一个。 我在Wikipedia上读到，“ 拉普拉斯（Laplace）观察到，中值无偏估计器使绝对偏差损失函数的风险最小化。” 但是，我的蒙特卡洛模拟结果不支持该论点。 我假定从对数正常人群中，样品，其中，μ和σ是对数平均和对数标准差，β = EXP （μ ）= 50X1,X2,...,XN∼LN(μ,σ2)X1,X2,...,XN∼LN(μ,σ2)X_1,X_2,...,X_N \sim \mbox{LN}(\mu,\sigma^2)μμ\muσσ\sigmaβ=exp(μ)=50β=exp⁡(μ)=50\beta = \exp(\mu)=50 几何平均估计量是总体中值的中值无偏估计量，exp(μ)exp⁡(μ)\exp(\mu) ，其中，μ和σ是对数平均和对数标准差，μ和 σ是极大似然估计μ和σ。β^GM=exp(μ^)=exp(∑log(Xi)N)∼LN(μ,σ2/N)β^GM=exp⁡(μ^)=exp⁡(∑log⁡(Xi)N)∼LN(μ,σ2/N)\hat{\beta}_{\mbox{GM}}= \exp(\hat{\mu})= \exp{(\sum\frac{\log(X_i)}{N})} \sim \mbox{LN}(\mu,\sigma^2/N)μμ\muσσ\sigmaμ^μ^\hat\muσ^σ^\hat\sigmaμμ\muσσ\sigma 校正后的几何平均估计量是总体中位数的均值无偏估计量。 β^CG=exp(μ^−σ^2/2N)β^CG=exp⁡(μ^−σ^2/2N)\hat{\beta}_{\mbox{CG}}= \exp(\hat{\mu}-\hat\sigma^2/2N) 我从LN （log （50 ），√）重复生成大小为5的样本。复制号是10,000。对于几何均值估计器，我得到的平均绝对偏差为25.14，对于校正后的几何均值，则为22.92。为什么？(log(50),log(1+22)−−−−−−−−−√)(log⁡(50),log⁡(1+22))(\log(50),\sqrt{\log(1+2^2)}) 顺便说一句，几何平均值的估计中值绝对偏差为18.18，校正几何平均值估计器为18.58。 我使用的R脚本在这里： #```{r stackexchange} #' Calculate the geomean to estimate the lognormal median. #' #' This function Calculate the geomean to estimate …

14 r  unbiased-estimator  median  lognormal  mad