Questions tagged «misspecification»

编辑：我添加了一个简单的示例：的均值的推断。我还稍微澄清了为什么不匹配置信区间的可信区间是不好的。XiXiX_i 我是一位虔诚的贝叶斯主义者，正处于某种信仰危机之中。 我的问题如下。假设我要分析一些IID数据。我要做的是：XiXiX_i 首先，提出一个条件模型： p(X|θ)p(X|θ) p(X|\theta) 然后，选择的先验值： θθ\thetap(θ)p(θ) p(\theta) 最后，应用贝叶斯法则，计算后验：（或者应该近似计算，如果它不能计算），并回答我对所有疑问p(θ|X1…Xn)p(θ|X1…Xn)p(\theta | X_1 \dots X_n )θθ\theta 这是一个明智的方法：如果数据的真实模型确实在我的条件的“内部”（它对应于某个值），那么我可以呼吁统计决策理论说我的方法是可以接受的（请参阅Robert's有关详细信息，请参见“贝叶斯选择”；在所有相关章节中，“所有统计信息”也有明确说明。XiXiX_iθ0θ0\theta_0 但是，众所周知，假设我的模型正确无比：为什么自然应该整洁地落入我所考虑的模型的框内？假设对于所有值，数据的实模型与不同，这要现实得多。通常将其称为“错误指定”模型。p （X | θ ）θptrue(X)ptrue(X)p_{true}(X)p(X|θ)p(X|θ）p(X|\theta)θθ\theta 我的问题是，在这种更为现实的，错误指定的情况下，与贝叶斯计算（即计算后验分布）相比，对于简单地计算最大似然估计器（MLE），我没有任何好的论据： θ^ML=argmaxθ[p(X1…Xn|θ)]θ^ML=arg⁡maxθ[p(X1…Xn|θ)] \hat \theta_{ML} = \arg \max_\theta [ p(X_1 \dots X_n |\theta) ] 实际上，根据Kleijn，vd Vaart（2012）的说法，在错误指定的情况下，后验分布为： 收敛为到以为中心的狄拉克分布θ中号大号n→∞n→∞n\rightarrow \infty θ^MLθ^ML\hat \theta_{ML} 没有正确的方差（除非两个值恰好相同），以确保后验的可信区间匹配置信区间。（请注意，虽然置信区间显然是贝叶斯人不太在意的事情，但从质量上讲，这意味着后验分布本质上是错误的，因为这意味着其可信区间没有正确的覆盖范围）θθ\theta 因此，我们为没有额外的属性而付出了计算上的额外费用（一般来说，贝叶斯推断要比MLE昂贵） 因此，最后，我的问题是：在模型指定不正确的情况下，是否有关于理论上或经验上的论据，用于对简单的MLE替代方法使用贝叶斯推理？ （由于我知道我的问题通常不清楚，如果您不了解某些内容，请告诉我：我会尝试重新表述） 编辑：让我们考虑一个简单的示例：在高斯模型下推断的平均值（已知方差可以进一步简化）。我们考虑高斯先验：我们将表示为先验均值，表示的逆方差。令为的经验均值。最后，请注意：。 σ μ 0 β 0 …

68 bayesian  modeling  philosophical  misspecification 

我对在回归模型中包含滞后因变量是否合法感到非常困惑。基本上，我认为，如果该模型关注Y的变化与其他自变量之间的关系，那么在右侧添加滞后因变量可以确保其他IV之前的系数与Y的先前值无关。 有人说，包含LDV将使其他IV的系数下降。还有一些人说可以包含LDV，它可以减少串行相关性。 我知道这个问题在哪种回归方面都相当普遍。但是我的统计知识是有限的，而且当焦点是Y随时间的变化时，我真的很难确定是否应将滞后因变量包括在回归模型中。 还有其他方法来处理Xs对Y随时间的变化的影响吗？我也尝试了与DV不同的变化评分，但是在那种情况下R平方非常低。

26 regression  lags  misspecification 

贝叶斯方法不会过拟合是真的吗？（我看到了一些论文和教程对此提出了要求） 例如，如果我们对MNIST（手写数字分类）应用高斯过程，但仅将其显示为单个样本，那么对于与该单个样本不同的任何输入，无论差异有多小，它都会恢复到先前的分布吗？

25 bayesian  nonparametric  gaussian-process  overfitting  misspecification 

在1938年著名的论文中（“ 用于检验复合假设的似然比的大样本分布 ”，《数学统计年鉴》 9：60-62），塞缪尔·威尔克斯推导了（对数似然比）的渐近分布。对于嵌套假设，在正确指定了较大假设的前提下。极限分布为（卡方），具有自由度，其中是较大假设中的参数数，χ 2 ħ - 米ħ 米2 × L L R2×大号大号[R2 \times LLRχ2χ2\chi^2ħ - 米H-米h-mHHh米米m是嵌套假设中自由参数的数量。然而，众所周知，当假设被错误指定时（即，当较大的假设不是采样数据的真实分布时），该结果将不成立。 谁能解释为什么？在我看来，Wilks的证明应该仍然可以进行较小的修改。它依靠最大似然估计（MLE）的渐近正态性，但对于错误指定的模型仍然适用。唯一的不同是有限多元法线的协方差矩阵：对于正确指定的模型，我们可以使用反Fisher信息矩阵来近似协方差矩阵，而使用错误指定，可以使用协方差矩阵的三明治估计（）。正确指定模型后，后者简化为Fisher信息矩阵的逆矩阵（因为 J − 1 K J − 1 J = KĴ− 1Ĵ-1个J^{-1}Ĵ− 1ķĴ− 1Ĵ-1个ķĴ-1个J^{-1} K J^{-1}Ĵ= KĴ=ķJ = K）。在AFAICT中，只要我们具有MLE的多元正态的可逆渐近协方差矩阵（Wilks论文中的），Wilks证明并不关心协方差矩阵的估计值从哪里来。 C− 1C-1个c^{-1}

23 hypothesis-testing  model-selection  likelihood-ratio  asymptotics  misspecification 

执行主成分分析（PCA）之后，我想将一个新向量投影到PCA空间上（即在PCA坐标系中找到其坐标）。 我已经使用R计算了R语言的PCA prcomp。现在，我应该可以将向量乘以PCA旋转矩阵。该矩阵中的主要成分应该按行还是按列排列？

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

统计推断的经典处理方法基于这样的假设，即使用了正确指定的统计数据。也就是说，生成观测数据的分布是统计模型： 但是，在大多数情况下，我们不能假设这是真的。我想知道，如果我们放弃正确指定的假设，统计推断程序会发生什么。P∗(Y)P∗(Y)\mathbb{P}^*(Y)yyyMM\mathcal{M}P∗(Y)∈M={Pθ(Y):θ∈Θ}P∗(Y)∈M={Pθ(Y):θ∈Θ}\mathbb{P}^*(Y) \in \mathcal{M}=\{\mathbb{P}_\theta(Y) :\theta \in \Theta\} 我发现怀特1982年在误配下对ML估计进行了一些研究。有人认为最大似然估计量是的一致估计量 可使统计模型内所有分布和真实分布\ mathbb {P} ^ *中的KL散度最小。Pθ1=argminPθ∈MKL(P∗,Pθ)Pθ1=arg⁡minPθ∈MKL(P∗,Pθ)\mathbb{P}_{\theta_1}=\arg \min_{\mathbb{P}_\theta \in \mathcal{M}} KL(\mathbb{P}^*,\mathbb{P}_\theta)P∗P∗\mathbb{P}^* 置信度估计量会怎样？让我们概述置信度估计量。令 δ:ΩY→2Θδ:ΩY→2Θ\delta:\Omega_Y \rightarrow 2^\Theta为集合估计量，其中ΩYΩY\Omega_Y是样本空间，2Θ2Θ2^\Theta是在参数空间\ Theta上设置的功效ΘΘ\Theta。我们想知道的是\ delta产生的集合δδ\delta包含真实分布P∗P∗\mathbb{P}^*，即P∗(P∗∈{Pθ:θ∈δ(Y)}):=A.P∗(P∗∈{Pθ:θ∈δ(Y)}):=A.\mathbb{P}^*(\mathbb{P}^* \in \{P_\theta : \theta \in \delta(Y)\}):=A. 但是，我们当然不知道真实的分布P∗P∗\mathbb{P}^*。正确指定的假设告诉我们P∗∈MP∗∈M\mathbb{P}^* \in \mathcal{M}。但是，我们仍然不知道模型是哪种分布。但是，infθ∈ΘPθ(θ∈δ(Y)):=Binfθ∈ΘPθ(θ∈δ(Y)):=B\inf_{\theta \in \Theta} \mathbb{P}_\theta(\theta \in \delta(Y)):=B是概率A的下限AAA。公式BBB是置信度集合估计器的置信度水平的经典定义。 如果我们放弃正确指定的假设，那么不一定是的下界，是我们实际上感兴趣的术语。确实，如果我们假设模型指定不正确（在大多数现实情况下都是如此），则为0，因为统计模型不包含真实分布。A A P * MBBBAAAAAAP∗P∗P^*MM\mathcal{M} 从另一个角度来看，当模型指定不正确时，人们可能会想到与什么相关。这是一个更具体的问题。如果模型指定不正确，是否仍然具有含义。如果没有，为什么我们还要打扰参数统计呢？乙BBBBBB 我猜怀特1982年在这些问题上有一些结果。不幸的是，由于缺乏数学背景，我无法理解那里写的很多东西。

14 hypothesis-testing  confidence-interval  model  frequentist  misspecification 

如果要假设均方差性，则可以使用参数（方差同质性的Bartlett检验bartlett.test）和非参数（方差同质性的Figner-Killeen检验fligner.test）检验。如何分辨使用哪种？这应该取决于例如数据的正常性吗？

10 r  variance  heteroscedasticity  misspecification 

我有一个一般的方法论问题。之前可能已经回答过，但是我无法找到相关的线程。我将感谢可能重复的指针。 （这是一个很好的答案，但是没有答案。即使在回答时，这在精神上也很相似，但是从我的角度来看，后者太具体了。这也很贴切，在发布问题后才发现。） 主题是，当看到数据之前制定的模型未能充分描述数据生成过程时，如何进行有效的统计推断。这个问题很笼统，但是我将提供一个特定的例子来说明这一点。但是，我希望答案会集中在一般的方法论问题上，而不是挑剔特定示例的细节。 考虑一个具体的示例：在时间序列设置中，我假设数据生成过程为 其中。我的目标是检验的主题假设。我根据模型以获得与我的主题假设相对应的可行的统计对应关系，即 到目前为止，一切都很好。但是，当我观察数据时，我发现该模型无法充分描述数据。假设存在线性趋势，因此真实数据生成过程为 其中yt=β0+β1xt+ut(1)(1)yt=β0+β1xt+ut y_t=\beta_0 + \beta_1 x_t+u_t \tag{1} ut∼i.i.N(0,σ2u)ut∼i.i.N(0,σu2)u_t \sim i.i.N(0,\sigma_u^2)dydx=1dydx=1\frac{dy}{dx}=1(1)(1)(1)H0: β1=1.H0: β1=1. H_0\colon \ \beta_1=1. yt=γ0+γ1xt+γ2t+vt(2)(2)yt=γ0+γ1xt+γ2t+vt y_t=\gamma_0 + \gamma_1 x_t+\gamma_2 t + v_t \tag{2} vt∼i.i.N(0,σ2v)vt∼i.i.N(0,σv2)v_t \sim i.i.N(0,\sigma_v^2)。 如何对主题假设进行有效的统计推断？dydx=1dydx=1\frac{dy}{dx}=1 如果我使用原始模型，则会违反其假设，并且的估计量不会具有否则会好的分布。因此，我无法使用检验检验假设。β1β1\beta_1ttt 如果查看数据后，我从模型切换到，并将我的统计假设从更改为，则满足模型假设，我得到一个表现良好的估计量，并且可以使用轻松测试。 但是，从切换到(1)(1)(1)(2)(2)(2)H0: β1=1H0: β1=1H_0\colon \ \beta_1=1H′0: γ1=1H0′: γ1=1H'_0\colon \ \gamma_1=1γ1γ1\gamma_1H′0H0′H'_0ttt(1)(1)(1)(2)(2)(2)可以从我要检验假设的数据集中获悉。这使得估算器分布（以及推断也）取决于基础模型的变化，这是由于观察到的数据所致。显然，引入这种条件并不令人满意。 有没有好的出路？（如果不是常客，那么也许是一些贝叶斯替代方法？）

9 modeling  inference  misspecification