Questions tagged «inference»

从样本数据得出有关种群参数的结论。参见https://en.wikipedia.org/wiki/Inference和https://en.wikipedia.org/wiki/Statistical_inference

6
为什么我们需要多元回归(而不是一堆单变量回归)?
我刚刚浏览了这本精彩的书:Johnson和Wichern的应用多元统计分析。具有讽刺意味的是,我仍然无法理解使用多变量(回归)模型而不是单独的单变量(回归)模型的动机。我经历了stats.statexchange帖子1和2,它们解释了(a)多元回归和多元回归之间的差异和(b)多元回归结果的解释,但是我无法根据所有信息调整使用多元统计模型上网了解他们。 我的问题是: 为什么我们需要多元回归?为了得出推论,同时考虑结果而不是单独考虑结果的好处是什么。 何时使用多元模型以及何时使用多个单变量模型(针对多个结果)。 举一个在UCLA网站上给出的例子,它具有三个结果:控制源,自我概念和动机。关于1.和2.,当我们进行三个单变量多元回归与一个多元多元回归时,我们可以比较分析吗?如何证明彼此的正当性? 我还没有碰到很多利用多元统计模型的学术论文。这是因为存在多元正态性假设,模型拟合/解释的复杂性还是任何其他特定原因?


2
使用置信区间时,我们是否应该应对多个比较调整?
假设我们有一个多重比较的场景,例如成对统计的事后推断,或者像多重回归,我们总共进行了mmm比较。还要假设,我们希望使用置信区间支持这些倍数的推理。 1.我们是否对配置项应用了多个比较调整?也就是说,正如多重比较强制的重新定义αα\alpha来无论是家庭明智的错误率(FWER)或假发现率(FDR),确实的含义信心(或信誉1,或不确定性,或预测或推断...选择您的间隔)是否会因多次比较而发生类似的变化?我意识到这里的否定答案将解决我剩下的问题。 2.是否存在从假设检验到区间估计的多个比较调整程序的直接转换?例如,将调整集中于改变CI-levelCI-level\text{CI-level}术语中的置信区间:CIθ=(θ^±t(1−CI-level)/2σ^θ)CIθ=(θ^±t(1−CI-level)/2σ^θ)\text{CI}_{\theta} = (\hat{\theta} \pm t_{(1-\text{CI-level)/2}}\hat{\sigma}_{\theta})? 3.我们将如何处理CI的升压或降压控制程序?从假设检验方法到推理的一些家庭式错误率调整是“静态的”,因为对每个单独的推断进行了完全相同的调整。例如,通过更改以下项的拒绝标准来进行Bonferroni调整: 拒绝如果p≤α2p≤α2p\le \frac{\alpha}{2}至: 拒绝如果p≤α2mp≤α2mp\le \frac{\frac{\alpha}{2}}{m}, 但是Holm-Bonferroni的升压调整不是“静态”的,而是通过以下方式进行的: 首先将ppp最小到最大排序,然后 拒绝如果p≤1−(1−α2)1m+1−ip≤1−(1−α2)1m+1−ip\le 1 - (1- \frac{\alpha}{2})^{\frac{1}{m+1-i}},(其中,iii索引的顺序ppp-值),直到 我们无法拒绝无效假设,并且自动无法拒绝所有后续的无效假设。 因为CI不会发生拒绝/拒绝失败(更正式的说法,请参见下面的参考文献),这是否意味着逐步过程不会转换(即包括所有FDR方法)?在此我要说明的是,我并不是在问如何将CI转换为假设检验(以下引用的“视觉假设检验”文献的代表提到了这个不重要的问题)。 4. 括号中我在1中提到的其他间隔是什么? 1天哪,我当然希望我不会在这里使用这个词来惹恼那些甜美,甜美的贝叶斯风格。:) 参考文献 Afshartous,D.和Preston,R.(2010)。相依数据的置信区间:将具有统计意义的非重叠等同。计算统计与数据分析,54(10):2296-2305。 卡明,G。(2009)。肉眼推论:读取独立置信区间的重叠。医学统计学,28(2):205-220。 缅因州的佩顿,MH的Greenstone和北卡罗来纳州的Schenker(2003)。重叠置信区间或标准误差区间:就统计学意义而言,它们是什么意思?昆虫科学学报,3(34):1-6。 Tryon,WW和Lewis,C.(2008)。建立统计等价性的推论置信区间方法,用于校正Tryon(2001)的折减系数。心理方法,13(3):272–277。

3
没有信息论的Kullback-Leibler散度
经过对Cross Validated的大量拖延之后,我仍然觉得自己离信息理论领域之外的KL分歧越来越近了。对于具有数学背景的人来说,发现它更容易理解信息理论的解释是很奇怪的。 从信息理论背景概述我的理解:如果我们有一个随机变量且结果数量有限,则存在一种最佳编码,该编码可使我们与其他人以平均最短消息进行交流(我发现这最容易图片按位表示)。如果使用最佳编码,则传达结果所需的消息的期望长度由。如果您使用次优编码,则KL散度平均会告诉我们我们的消息会持续多长时间。− ∑αpα日志2(pα)−∑αpαlog2⁡(pα) -\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha}) 我喜欢这种解释,因为它很直观地处理了KL散度的不对称性。如果我们有两个不同的系统,即两个加载不同的硬币,它们将具有不同的最佳编码。我并没有本能地感觉到,将第二个系统的编码用于第一个系统与将第一个系统的编码用于第二个系统“同样糟糕”。现在,不用经历如何说服自己的思考过程,我对当对使用的编码时,会给您这个“额外的消息长度” 。∑αpα(日志2qα− 日志2pα)∑αpα(log2⁡qα−log2⁡pα)\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})qqqppp 但是,大多数KL散度的定义(包括Wikipedia)随后做出了这样的陈述(如果将离散点保留下来,以便可以将其与信息理论的解释相比较,后者在离散项下效果更好,因为位是离散的)。分布,然后KL提供一些“它们有多不同”的度量。我还没有看到关于这两个概念如何关联的单一解释。我似乎记得在他的推理书中,戴夫·麦凯(Dave Mackay)提出了关于数据压缩和推理基本上是同一件事的观点,而且我怀疑我的问题确实与此有关。 不管是不是,我想到的问题都是关于推理的问题。(保持离散),如果我们有两个放射性样品,并且我们知道其中一个是具有已知放射性的某种材料(这是可疑的物理学,但我们假装宇宙像那样工作),因此我们知道“真实”分布我们应该测量的放射性点击数应该是已知的泊松分布,是否建立两个样本的经验分布并将它们的KL散度与已知分布进行比较是否公平,并说较低的可能性更大?λλ\lambda 避开可疑物理学,如果我知道两个样本是从同一分布中提取的,但我知道它们不是随机选择的,可以将其KL散度与已知的全局分布进行比较,使我感觉到样本的“偏差程度” ,相对于另一个而言? 最后,如果对以上问题的回答是肯定的,那为什么呢?是否可以仅从统计角度理解这些事情,而无需与信息理论建立任何(可能是脆弱的)联系?

2
“基准”是什么意思(在统计中)?
当我为 "fisher" "fiducial" ...我肯定会收到很多成功,但我一直关注的所有事情都超出了我的理解范围。 所有这些命中似乎确实有一个共同点:它们都是为染羊毛的统计学家而写的,这些人对统计的理论,实践,历史和知识都非常了解。(因此,这些陈述都没有费心去解释或说明费舍尔的“基准”的意思,而不求助于术语的大行其道和/或不给某些经典或其他数学统计文献带来损失。) 好吧,我不属于可以从我这个主题的发现中受益的特定目标受众,这也许可以解释为什么我每次试图理解费舍尔“基准”的含义的尝试都撞到了墙上。难以理解的胡言乱语。 有谁知道向非专业统计学家解释费舍尔“基准”是什么意思的尝试? PS:我意识到费舍尔在确定他的“基准”的含义时是一个移动的目标,但是我认为该术语必须具有一定的“恒定核心”含义,否则它将无法正常工作(因为它很明显确实是本领域内通常理解的术语。

1
我必须掷骰子几次来自信地评估其公平性?
(事先对使用非专业语言而非统计语言的道歉。) 如果我想以合理的确定性来衡量将特定的物理六面模具的每一侧滚动到大约+/- 2%以内的几率,那么需要多少个示例模具卷? 即我需要掷骰子多少次,计算每个结果,以确保98%确保骰子掷出骰子的几率在14.6%-18.7%之内?(或一些类似的标准,其中大约98%的人会确保骰子的公平性在2%以内。) (这是使用骰子的模拟游戏的现实世界关注点,希望确保某些骰子设计的滚动数字接近1/6的可能性可以接受。有人声称,许多常见的骰子设计被测量为滚动29%1)。每次将几个这样的骰子滚动1000次。)

2
有哪些非贝叶斯方法可用于预测推理?
在贝叶斯推断中,通过整合未知参数可以得出未来数据的预测分布。对这些参数的后验分布进行积分可得出后验预测分布,即以已观察到的条件为前提的未来数据的分布。有哪些非贝叶斯预测推理方法考虑了参数估计中的不确定性(即,不仅将最大似然估计或其他任何东西都插入了密度函数中)? 每个人都知道如何在线性回归后计算预测间隔,但是计算背后的原理是什么以及如何将它们应用在其他情况下(例如,从数据中估算出速率参数后为新的指数变量计算确切的预测间隔)?

3
内曼·皮尔森引理
我 从Mood,Graybill和Boes 撰写的《统计理论概论》一书中 阅读了Neyman–Pearson引理。但是我还不了解引理。 谁能用简单的话向我解释这个引理?它说明了什么? Neyman-Pearson Lemma:令是的随机样本,其中是两个已知值和,并且固定。X1,…,XnX1,…,XnX_1,\ldots,X_nf(x;θ)f(x;θ)f(x;\theta)θθ\thetaθ0θ0\theta_0θ1θ1\theta_10&lt;α&lt;10&lt;α&lt;10<\alpha<1 让 k∗k∗k^*是正的常数和C∗C∗C^*是的一个子集XX\mathscr X满足:Pθ0[(X1,…,Xn)∈C∗]=α(1)(1)Pθ0[(X1,…,Xn)∈C∗]=α \tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha λ=L(θ0;x1,…,xn)L(θ1;x1,…,xn)=L0L1≤k∗if (x1,…,xn)∈C∗(2)(2)λ=L(θ0;x1,…,xn)L(θ1;x1,…,xn)=L0L1≤k∗if (x1,…,xn)∈C∗\tag 2 \lambda=\frac{L(\theta_0;x_1,\ldots,x_n)}{L(\theta_1;x_1,\ldots,x_n)} = \frac{L_0}{L_1} \le k^*\quad \text{if } (x_1,\ldots,x_n)\in C^* andλ≥k∗ if (x1,…,xn)∈C¯∗andλ≥k∗ if (x1,…,xn)∈C¯∗\text{and}\quad \lambda\ge\quad k^* \text{ if } (x_1,\ldots,x_n)\in \bar C^* 然后将试验γ∗γ∗\gamma^*对应于临界区域C∗C∗C^*是一个最有力的尺寸的测试αα\alpha的H0:θ=θ0H0:θ=θ0\mathscr H_0:\theta=\theta_0与H1:θ=θ1H1:θ=θ1\mathscr H_1:\theta=\theta_1 用言语表达,我了解到这两个标准 (1)P [拒绝零假设| 原假设为真] =显着性水平 …

6
描述性统计和推理性统计有什么区别?
我的理解是,描述性统计定量地描述了数据样本的特征,而推论统计则推断出抽取样本的总体。 但是,用于统计推断的维基百科页面显示: 在大多数情况下,统计推断使用有关人群的命题,这些数据是通过某种形式的随机抽样从感兴趣人群中得出的。 “大部分”让我觉得我可能没有正确理解这些概念。是否有一些推论统计的例子没有对总体提出建议?

3
MaxEnt,ML,Bayes和其他统计推断方法之间的比较
我绝不是统计学家(我上过数学统计学课程,但仅此而已),最近,在学习信息论和统计力学时,我遇到了一个叫做“不确定性度量” /“熵”的东西。我读过Khinchin推导它的方法来衡量不确定性,这对我来说很有意义。有意义的另一件事是,当您知道样本上一个或多个函数的算术平均值时(假设您接受作为当然的不确定性度量),Jaynes对MaxEnt的描述将获得统计量。 − ∑ p一世lnp一世-∑p一世ln⁡p一世-\sum p_i\ln p_i 因此,我在网上搜索了与其他统计推断方法之间的关系,上帝让我感到困惑。例如该论文表明,假设我得到它的权利,你只得到下一个问题的适当再形成一个ML估计; MacKey在他的书中说,MaxEnt可以给您带来怪异的东西,即使在贝叶斯推断中作初步估计,也不应使用它。等等。我在寻找良好的比较时遇到了麻烦。 我的问题是,作为统计推断方法,可以将MaxEnt的优缺点作为一个解释和/或一个很好的参考,并与其他方法进行定量比较(例如,应用于玩具模型时)?

2
逆变换方法如何工作?
反转方法如何工作? 说我有一个随机样本与密度在,因此cdf在。然后通过反演方法,我得到的分布为。 f (x ; θ )= 1X1,X2,...,XnX1,X2,...,XnX_1,X_2,...,X_n 0&lt;X&lt;1˚FX(X)=X1/θ(0,1)X˚F - 1 X(Û)=Üθf(x;θ)=1θx(1−θ)θf(x;θ)=1θx(1−θ)θf(x;\theta)={1\over \theta} x^{(1-\theta)\over \theta} 0&lt;x&lt;10&lt;x&lt;10<x<1FX(x)=x1/θFX(x)=x1/θF_X(x)=x^{1/\theta}(0,1)(0,1)(0,1)XXXF−1X(u)=uθFX−1(u)=uθF_X^{-1}(u)=u^\theta 那么是否具有的分布?这是反演方法的工作方式吗? Xuθuθu^\thetaXXX u&lt;-runif(n) x&lt;-u^(theta)

2
如何得出线性回归系数的标准误差
对于 给定数据集单变量线性回归模型 ,系数估计为 根据book和Wikipedia,的标准错误是 和原因? d = { (X 1,ÿ 1),。。。,(X Ñ,ÿ Ñ)} β 1 = Σ 我X 我ÿ 我 - ñ ˉ X ˉ ÿÿ一世= β0+ β1个X一世+ ϵ一世ÿ一世=β0+β1个X一世+ϵ一世y_i = \beta_0 + \beta_1x_i+\epsilon_iD = { (x1个,ÿ1个),。。。,(xñ,ÿñ)}d={(X1个,ÿ1个),。。。,(Xñ,ÿñ)}D=\{(x_1,y_1),...,(x_n,y_n)\}β^1个= ∑一世X一世ÿ一世− n x¯ÿ¯ñ X¯2− ∑一世X2一世β^1个=∑一世X一世ÿ一世-ñX¯ÿ¯ñX¯2-∑一世X一世2\hat\beta_1=\frac{\sum_ix_iy_i-n\bar x\bar y}{n\bar x^2-\sum_ix_i^2} β^0= y¯- β^1个X¯β^0=ÿ¯-β^1个X¯\hat\beta_0=\bar y - \hat\beta_1\bar …

2
弹性/脊线/套索分析,然后呢?
我对预测器收缩/选择的弹性网程序真的很感兴趣。似乎非常强大。 但是从科学的角度来看,我不知道一旦获得系数该怎么办。我在回答什么问题?这些是对结果有最大影响的变量,并且是在验证过程中提供最佳方差/偏差比的系数吗? 与经典的p值/置信区间方法相比,这当然是一种非常具有描述性/预测性的方法。Tibshirani&Co.现在正在研究推论估计,但仍处于实验阶段。 某些人正在使用弹性网选择的变量来进行经典的推理分析,但这将消除该技术带来的方差限制。 另一个问题是,由于通过交叉验证选择了弹性网的lambda和alpha参数,因此它们具有随机可变性。因此,每次运行(例如)cv.glmnet()时,您将选择系数始终略有不同的预测变量子集。 我通过考虑将正确的lambda和alpha作为随机变量来解决此问题,然后重新运行交叉验证步骤n次以获取这些参数的分布。这样,对于每个预测变量,我将具有出现的次数,对于每个系数,我将具有结果的分布。这应该为我提供范围统计信息(如系数的sd)更通用的结果。观察以这种方式选择的lambda和alpha是否渐近地近似也很有趣,因为这将为进行推理测试开辟道路(但我不是统计学家,所以我不应该谈论我不喜欢的事情完全不了解)。 所以最后我的问题是:一旦从具有基于交叉验证的alpha和lambda的弹性网中获得了预测变量和系数,应该如何显示这些结果?您应该如何讨论它们?我们学到了什么?我们可以混淆哪个假设/概括?

2
如果似然性原则与频繁出现的可能性发生冲突,那么我们是否丢弃其中之一?
在最近发表在这里的评论中,有一位评论者指向拉里·瓦瑟曼(Larry Wasserman)的博客,他指出(没有任何消息来源),频繁推断与似然原理相冲突。 似然原理简单地说,产生相似似然函数的实验应产生相似的推论。 这个问题分为两部分: 频繁推断的哪些部分,风格或派别特别违反似然性原则? 如果发生冲突,我们是否必须丢弃其中一个?如果是这样,那是哪一个?我会为就事论事表明,如果我们要丢弃的东西那么我们应该抛弃频率论者推断其冲突的部分,因为黑客和罗亚尔使我确信,可能性的原则是不言自明的。

2
如果我们已经知道后验分布,为什么需要从后验分布中采样?
我的理解是,当使用贝叶斯方法估算参数值时: 后验分布是先验分布和似然分布的组合。 我们通过从后验分​​布生成样本来模拟此过程(例如,使用Metropolis-Hasting算法生成值,如果它们超过属于后验分布的概率的某个阈值,则接受它们)。 生成此样本后,我们将使用它来近似后验分布以及诸如均值之类的东西。 但是,我觉得我一定是误会了。听起来我们有一个后验分布,然后从中进行采样,然后使用该样本作为后验分布的近似值。但是,如果我们有后验分布开始,为什么我们需要从中进行采样来近似呢?

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.