Questions tagged «inference»

让。Fisher信息矩阵的定义为：θ ＆Element; [Rñθ∈Rn\theta \in R^{n} 一世（θ ）我，Ĵ= - Ë[ ∂2日志（f（X| θ））∂θ一世∂θĴ∣∣∣θ ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] 如何证明Fisher信息矩阵是正半定的？

18 inference  linear-algebra  fisher-information 

我了解建立预测模型时进行正则化的好处（偏差与方差，防止过度拟合）。但是，我想知道当回归模型的主要目的是对系数进行推断（看看哪些预测变量具有统计学意义）时，也进行正则化（套索，岭，弹性网）是否是一个好主意。我很想听听人们的想法以及与之相关的任何学术期刊或非学术文章的链接。

18 inference  lasso  ridge-regression  elastic-net  selectiveinference 

我关注的是渐进统计（1998）AW van der Vaart。他谈到统计实验，声称它们与统计模型不同，但是他都没有定义。我的问题： 什么是（1）统计实验，（2）统计模型和（3）始终使统计实验与任何统计模型不同的关键因素是什么？

17 mathematical-statistics  inference  experiment-design  descriptive-statistics  model 

我被要求找到用于描述性统计的p值。但是，据我了解，p值用于测试统计。如果我没记错的话，那么在原假设为真的情况下，p值是观察到与检验统计数据一样极端的值的概率。

17 hypothesis-testing  descriptive-statistics  inference 

pdf和pmf以及cdf是否包含相同的信息？ 对我来说，pdf将整个概率提供给某个点（基本上是该概率下的面积）。 pmf给出某一点的概率。 cdf给出特定点下的概率。 因此对我来说pdf和cdf具有相同的信息，但是pmf却没有，因为它给出了分布上某一点的概率x。

17 probability  distributions  pdf  inference  cdf 

在中R，我使用lda库中的函数MASS进行分类。据我了解LDA，输入将被分配标签，这将最大化，对吗？XXxÿÿyp （ÿ| X）p（ÿ|X）p(y|x) 但是当我拟合其中我不太了解的输出， x=(Lag1,Lag2 ）X=（大号一种G1，大号一种G2）x=(Lag1,Lag2)ÿ= d 我ř Ë Ç 吨我Ò Ñ ，ÿ=d一世[RËCŤ一世Øñ，y=Direction,lda 编辑：要重现下面的输出，请首先运行： library(MASS) library(ISLR) train = subset(Smarket, Year < 2005) lda.fit = lda(Direction ~ Lag1 + Lag2, data = train) > lda.fit Call: lda(Direction ~ Lag1 + Lag2, data = train) Prior probabilities of groups: Down Up 0.491984 …

17 r  discriminant-analysis  inference 

我认为可以说统计学是一门应用科学，因此在计算平均值和标准差时，是因为有人希望根据这些数字做出一些决策。 作为一名出色的统计学家，我希望能够“感知”何时可以信任样本数据，以及何时某些统计测试完全歪曲了我们感兴趣的真实数据。成为对分析感兴趣的程序员大数据集我正在学习一些统计数据和概率论，但我无法摆脱这种this的感觉，即我看过的所有书都像是政客，登上舞台，讲了很多话，然后追加演讲结束时的以下免责声明： 现在，我并不是说这是好事还是坏事，但是数字表明这很好，所以无论如何您都应该投票支持我。 也许您明白了，但您可能没有，这是一个问题。我该去哪里找统计学家的战争故事，而他们的决策是基于某些统计信息的，后来又证明是完全错误的？

16 references  inference  descriptive-statistics  history  fallacy 

我正在使用具有一个固定效果（条件）和两个随机效果（由于主题设计和配对而导致的参与者）的混合效果模型分析数据集。该模型是使用lme4包生成的exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp)。 接下来，我针对没有固定效果（条件）的模型对该模型进行了似然比检验，结果有显着差异。我的数据集中有3个条件，因此我想进行多重比较，但不确定使用哪种方法。我在CrossValidated和其他论坛上发现了许多类似的问题，但我仍然很困惑。 据我所见，人们建议使用 1.该lsmeans包- lsmeans(exp.model,pairwise~condition)这给了我下面的输出： condition lsmean SE df lower.CL upper.CL Condition1 0.6538060 0.03272705 47.98 0.5880030 0.7196089 Condition2 0.7027413 0.03272705 47.98 0.6369384 0.7685443 Condition3 0.7580522 0.03272705 47.98 0.6922493 0.8238552 Confidence level used: 0.95 $contrasts contrast estimate SE df t.ratio p.value Condition1 - Condition2 -0.04893538 0.03813262 62.07 -1.283 0.4099 Condition1 - …

16 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

对于给定的推理问题，我们知道贝叶斯方法通常在形式和结果上都不同于后继方法。经常有人（通常包括我在内）经常指出，他们的方法不需要先验，因此更多是“数据驱动”而不是“判断驱动”。当然，贝叶斯定律可以指向非信息性先验，或者说是实用的，只使用一个真正的分散先验。 我的担忧，尤其是在对惯常的客观性感到自鸣得意之后，尤其是我声称的“客观”方法可以在贝叶斯框架中提出，尽管有一些不同寻常的先验和数据模型。在那种情况下，我只是幸福地对荒谬的先验知识一无所知，并且仿照我的常客主义方法所暗示的那样吗？ 如果贝氏指出，这样的提法，我想，我的第一反应是说“嗯，这是很好的，你可以这样做，但我怎么这不是想这个问题！”。但是，谁在乎我如何看待它或如何制定它。如果我的程序在统计学上/数学上等效于某些贝叶斯模型，那么我隐式地（不经意间！）执行贝叶斯推断。 下面的实际问题 这种认识大大破坏了任何自鸣得意的诱惑。但是，我不确定贝叶斯范式是否可以容纳所有惯常做法（同样，只要贝叶斯选择合适的先验和可能性）是否成立。我知道相反的说法是错误的。 我之所以这样问，是因为我最近发布了一个关于条件推断的问题，这使我想到了以下论文：在此处（请参阅3.9.5,3.9.6） 他们指出了Basu的著名结果，即可能有不止一个辅助统计信息，这引发了关于哪个“相关子集” 最相关的问题。更糟糕的是，它们显示了两个示例，这些示例说明即使您具有唯一的辅助统计信息，也无法消除其他相关子集的存在。 他们继续得出结论，只有贝叶斯方法（或与之等效的方法）才能避免此问题，从而实现无条件的条件推断。 贝叶斯统计惯常主义统计可能并非如此-这是我在这里向这个小组提出的问题。但是看来，这两种范式之间的根本选择在于哲学上而不是目标上：您需要较高的条件精度还是较低的无条件误差：⊃⊃\supset 当我们必须分析一个奇异的实例时，高条件精度似乎是适用的-尽管这种方法可能不适用于下一个数据集（超条件/专业化），但我们希望适合这种特殊的推断。 如果在某些情况下我们愿意做出有条件的错误推断，则低无条件错误是合适的，只要我们将长期运行的错误最小化或加以控制即可。老实说，写完这篇文章后，我不确定为什么要这么做，除非我被束缚了时间并且无法进行贝叶斯分析……嗯。 我倾向于基于似然的惯性论推论，因为我从似然函数中得到了一些（渐近/近似）条件性，但不需要摆弄先验条件-但是，我对贝叶斯推论越来越适应，尤其是当我看到了用于小样本推断的先前的aa 正则化术语。 抱歉，放在一边。我的主要问题的任何帮助表示赞赏。

15 bayesian  inference  likelihood  likelihood-ratio  frequentist 

我有一个问题，为什么贝叶斯推理会导致棘手的问题。该问题通常是这样解释的： 我不明白的是为什么必须首先评估此积分：在我看来，积分的结果只是一个归一化常数（如给出数据集D所示）。为什么不能简单地将后验分布计算为右侧的分子，然后通过要求后验分布上的积分必须为1来推断此归一化常数呢？ 我想念什么？ 谢谢！

15 bayesian  inference 

在过去的三年中，我一直在研究许多书籍中的统计数据，并且由于这个站点，我学到了很多东西。然而，对于我来说，一个基本问题仍然没有答案。它可能有一个非常简单或非常困难的答案，但我可以肯定地知道它需要对统计数据有一定的了解。 在将模型拟合到数据时（无论是常客方法还是贝叶斯方法），我们提出一个模型，该模型可能包括似然函数，先验函数或核（非参数）等的函数形式。问题在于任何模型使样品具有一定的优度。与当前的模型相比，总是可以找到更好或更坏的模型。在某个时候，我们停止并开始得出结论，推广到总体参数，报告置信区间，计算风险等。因此，无论得出什么结论，总是以我们决定采用的模型为条件。即使我们使用诸如AIC，MDL等之类的工具来估计预期的KL距离，也并没有说绝对的立场，而只是相对改善了我们的估计。 现在假设我们想定义一个逐步过程，以在构建模型时应用于任何数据集。我们应该指定什么作为停止规则？我们是否可以至少限制模型误差，该误差将为我们提供一个客观的停止点（这与使用验证样本停止训练不同，因为它还会在评估的模型类内提供停止点，而不是真正的DGP）？

15 modeling  inference  aic 

一些贝叶斯主义者抨击常识性推断，指出“没有唯一的采样分布”，因为这取决于研究者的意图（Kruschke，Aguinis和Joo，2012，第733页）。 例如，某位研究人员开始收集数据，但在40名参与者参加之后，他的资金却被意外削减。此处如何定义采样分布（以及后续的CI和p值）？我们是否仅假设每个组成样本的N = 40？还是由不同N的样本组成，每个样本的大小由他的资金可能被削减的其他随机次数决定？ 教科书中的t，F，卡方（等）零分布均假设N对于所有组成样本都是固定且恒定的，但实际上可能并非如此。对于每个不同的停止过程（例如，在一定时间间隔后或直到我的助手厌倦为止），似乎存在不同的采样分布，并且使用这些“尝试且真实的”固定N分布是不合适的。 这种批评对频繁出现的CI和p值的合法性有多大损害？有理论上的反驳吗？似乎通过攻击采样分布的概念，频繁推断的整个体系是微不足道的。 任何学术参考都将不胜感激。

15 distributions  inference  frequentist 

这个问题参考了Galit Shmueli的论文“解释或预测”。 具体而言，Shmueli教授在1.5节“解释和预测不同”中写道： 在解释性建模中，重点是最小化偏差以获得最准确的基础理论表示。 每当我读这篇论文时，这都会使我感到困惑。从什么意义上说，最小化估计偏差可以最准确地表示基础理论吗？ 我还在这里观看了Shmueli教授在2017年JMP探索峰会上的演讲，她说： ...像收缩模型，集合体之类的东西，您将永远不会看到它们。因为这些模型通过设计引入了偏差，以减少总体偏差/方差。这就是为什么他们不在那里的原因，这样做没有任何理论意义。您为什么要使模型有目的地偏见？ 这并不能真正阐明我的问题，只是重申我不理解的说法。 如果理论有很多参数，而我们没有足够的数据来估计它们，那么估计误差将由方差决定。为什么在这种情况下使用像岭回归这样的有偏估计程序（导致较低方差的有偏估计）是不合适的？

15 predictive-models  inference  bias  unbiased-estimator  explanatory-models 

我理解它的意思是该模型在预测单个数据点方面不好，但是已经建立了稳固的趋势（例如，当x上升时y上升）。

14 regression  inference  r-squared  linear 

我刚刚观看了有关统计推断（“比较比例和均值”）的讲座，这是统计在线课程简介的一部分。对于我来说，这种材料一如既往地毫无意义（到现在为止，我必须已经看过数十遍这种材料，并且在过去的三十年中一直散布着）。 我正在寻找一本有关“基本Stats-101”的书（分数估算，估算评估，统计推断，假设检验，研究设计），该书认真对待了说服怀疑论者的问题。 下面，我给出了一些我正在寻找的作者会认真对待并知道如何令人信服地解决的问题类型的示例。 但是首先让我花点时间强调一下，在这篇文章中我没有问这些问题。 请不要回答他们！ 我以“石蕊试纸法”（针对搜索作者的类型）为例进行举例说明。 如果“比例”只是布尔变量的均值（即仅取值0和1的布尔变量），那么为什么要教不同的过程来对“比例”和“均值”进行统计推断呢？ 如果正态分布非常健壮，即使在数据不是非常正态分布的情况下，假设正态性也会产生良好的结果，并且如果t分布看起来很正态，那么为什么所有关于使用t分布而不是正常？ “自由度” 到底是什么？为什么我们担心它们？ 考虑到我们只是使用恰好看起来与数据相似的分布，说一个参数的“真实”值意味着什么？ 为什么“探索性数据分析”是一件好事，而“数据监听”却是一件坏事？ 正如我已经说过的，我对忽略此类问题所隐含的态度感到不满意。我不想在教给我一些东西的人中看到“认识论立场”。我正在寻找尊重读者的怀疑和理性，并且知道如何解决这些问题的作者（不必深入探讨形式主义和技术性的页面）。 我意识到这是一个艰巨的任务，尤其是在统计方面。因此，我不希望有很多作者能够成功。但是现在我只满足于找到一个。 让我补充一点，我不是数学上的厌恶者。相反，我喜欢数学。（我对分析（又称“高级演算”），线性代数，概率论，甚至基本测度论感到满意。） 也就是说，我目前的兴趣是“应用”，“实用”，“日常”，“现实”统计（与理论上的细微差别相反）。（但我也不想要食谱！） FWIW，我已经阅读了Gelman和Hill的使用回归和多层次/层次模型进行数据分析的前几章，并且我喜欢作者的语气。他们的重点是实际的，但在需要时可以进行理论探讨。他们还经常退后一步，对标准做法进行严格评估，并提出坦率的见解，以引起怀疑的读者的常识。不幸的是，这些作者还没有写一本书专门讨论我在这篇文章中要问的话题（如上所述，“ Stats 101”一词）。我还知道，其中一位作者（Gelman）与人共同撰写了备受赞誉的贝叶斯数据分析，但是，这又不是我目前正在寻找的东西。 编辑： Dikran Marsupial提出以下反对意见： 我认为忽略问题并不一定有什么不对，有一个观点认为，解决每个问题有损于通常更重要的基本概念的阐述（尤其是在统计101本书中！）。 我同意这一点。如果我说我正在寻找“第二眼基本统计数据”，那对我来说会更准确。实际上，以此为动力，我看了研究生课程中有关推理（说）的教科书，发现它们太像我列出的问题而被忽略了。如果有的话，他们似乎甚至不太愿意去研究这样的问题（这样他们就可以专注于诸如某些融合条件或其他……）的问题。 问题在于，更高级的书籍针对的是完全不同的读者群体，其中“局外人”的怀疑已被彻底耗尽。IOW，那些正在做研究生水平统计的人已经超出了困扰我的问题的地步。他们不再对这些东西持怀疑态度。（他们是如何克服怀疑态度的？然后统计一下。其他人可能有老师填写了他们的课本不足的地方。一些人可能很聪明，可以自己找出这些问题的答案。

14 references  inference  point-estimation