Questions tagged «self-study»

从课本,自学中使用的教科书,课程或测试的例行练习。该社区的政策是为此类问题“提供有用的提示”,而不是完整的答案。

3
内曼·皮尔森引理
我 从Mood,Graybill和Boes 撰写的《统计理论概论》一书中 阅读了Neyman–Pearson引理。但是我还不了解引理。 谁能用简单的话向我解释这个引理?它说明了什么? Neyman-Pearson Lemma:令是的随机样本,其中是两个已知值和,并且固定。X1,…,XnX1,…,XnX_1,\ldots,X_nf(x;θ)f(x;θ)f(x;\theta)θθ\thetaθ0θ0\theta_0θ1θ1\theta_10&lt;α&lt;10&lt;α&lt;10<\alpha<1 让 k∗k∗k^*是正的常数和C∗C∗C^*是的一个子集XX\mathscr X满足:Pθ0[(X1,…,Xn)∈C∗]=α(1)(1)Pθ0[(X1,…,Xn)∈C∗]=α \tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha λ=L(θ0;x1,…,xn)L(θ1;x1,…,xn)=L0L1≤k∗if (x1,…,xn)∈C∗(2)(2)λ=L(θ0;x1,…,xn)L(θ1;x1,…,xn)=L0L1≤k∗if (x1,…,xn)∈C∗\tag 2 \lambda=\frac{L(\theta_0;x_1,\ldots,x_n)}{L(\theta_1;x_1,\ldots,x_n)} = \frac{L_0}{L_1} \le k^*\quad \text{if } (x_1,\ldots,x_n)\in C^* andλ≥k∗ if (x1,…,xn)∈C¯∗andλ≥k∗ if (x1,…,xn)∈C¯∗\text{and}\quad \lambda\ge\quad k^* \text{ if } (x_1,\ldots,x_n)\in \bar C^* 然后将试验γ∗γ∗\gamma^*对应于临界区域C∗C∗C^*是一个最有力的尺寸的测试αα\alpha的H0:θ=θ0H0:θ=θ0\mathscr H_0:\theta=\theta_0与H1:θ=θ1H1:θ=θ1\mathscr H_1:\theta=\theta_1 用言语表达,我了解到这两个标准 (1)P [拒绝零假设| 原假设为真] =显着性水平 …

4
如何测试我的分布是否为多峰?
当我绘制数据的直方图时,它有两个峰值: 这是否意味着潜在的多峰分布?我dip.test在R(library(diptest))中运行,输出为: D = 0.0275, p-value = 0.7913 我可以得出结论,我的数据具有多模式分布? 数据 10346 13698 13894 19854 28066 26620 27066 16658 9221 13578 11483 10390 11126 13487 15851 16116 24102 30892 25081 14067 10433 15591 8639 10345 10639 15796 14507 21289 25444 26149 23612 19671 12447 13535 10667 11255 8442 11546 15958 21058 …

1
隐马尔可夫模型与粒子滤波器(和卡尔曼滤波器)之间的区别
这是我的老问题 我想问问是否有人知道隐马尔可夫模型(HMM)和粒子滤波器(PF)之间的区别(如果有区别),并因此得知卡尔曼滤波器,或者在什么情况下我们使用哪种算法。我是学生,必须做一个项目,但首先我必须了解一些事情。 因此,根据书目,这两个都是状态空间模型,包括隐藏(或潜在或不可观察)状态。根据Wikipedia(Hidden_​​Markov_model), “在HMM中,隐藏变量的状态空间是离散的,而观察值本身可以是离散的(通常从分类分布生成)或连续的(通常从高斯分布生成)。隐藏的马尔可夫模型也可以泛化为允许连续的状态空间。这样的模型的例子是那些对隐变量的马尔可夫过程是线性动力学系统,在相关变量之间具有线性关系,并且所有隐变量和观测变量都遵循高斯分布的模型。在简单的情况下,例如刚才提到的线性动力系统,精确推断是很容易的(在这种情况下,使用卡尔曼滤波器);但是,通常,在具有连续潜在变量的HMM中进行精确推断是不可行的,必须使用近似方法,” 但是对我而言,这有点令人困惑……简而言之,这是否意味着关注(也基于我所做的更多研究): 在HMM中,状态空间可以是离散的或连续的。还观测本身可以是离散的或连续的。HMM也是线性和高斯或非高斯动力系统。 在PF,状态空间可以是离散的或连续的。还观测本身可以是离散的或连续的。但是PF是一个非线性(非高斯?)动力系统(它们有区别吗?)。 当我们具有线性和高斯动力系统时,将使用卡尔曼滤波器(在我看来也像HMM一样)。 另外,我怎么知道该选择哪种算法,因为在我看来,所有这些似乎都是相同的...我还发现了一篇论文(不是英文),其中说PF虽然可以具有线性数据(例如来自传感器结点的原始数据)识别运动),则动力学系统可以是非线性的。这会发生吗?它是否正确?怎么样? 对于手势识别,研究人员可以使用HMM或PF,但是他们没有解释为什么选择每种算法……有人知道我可以如何帮助您区分这些算法,了解它们的差异以及如何选择最佳算法吗? 很抱歉,如果我的问题太大,或者某些部分还很幼稚,但我没有找到令人信服的科学答案。非常感谢您抽出宝贵的时间! 这是我的新问题(根据@conjugateprior的帮助) 因此,通过进一步阅读,我想更新我以前的评论的某些部分,并确保我对所发生的事情有更多的了解。 再次简单地说,保护伞是动态贝叶斯网络,其中包含HMM和状态空间的模型(子类)(http://mlg.eng.cam.ac.uk/zoubin/papers/ijprai.pdf)。 此外,这两个模型之间的初始差异在于,在HMM中,隐藏状态变量是离散的,而观测值可以是离散的或连续的。在PF中,隐藏状态变量是连续的(实值隐藏状态向量),并且观测值具有高斯分布。 此外,根据@conjugateprior,每个模型都有以下3个任务:滤波,平滑和预测。在滤波中,模型HMM将离散的隐藏状态变量用于正向算法,将状态空间用于连续变量并将线性动态系统用于卡尔曼滤波器,等等。 但是,HMM也可以泛化为允许连续的状态空间。 通过HMM的这些扩展,这两个模型在概念上似乎是相同的(正如在“ 隐马尔可夫模型”,“马尔可夫过渡模型”与“状态空间模型...”中提到的一样)。 我认为我使用的术语更加准确,但对我来说一切仍然很模糊。谁能向我解释HMM和State Space模型有什么区别? 因为我真的找不到适合我需求的答案。 再次谢谢你!

3
为什么nls()给我“初始参数估计时的奇异梯度矩阵”错误?
我有一些有关减排和每辆车成本的基本数据: q24 &lt;- read.table(text = "reductions cost.per.car 50 45 55 55 60 62 65 70 70 80 75 90 80 100 85 200 90 375 95 600 ",header = TRUE, sep = "") 我知道这是一个指数函数,因此我希望能够找到适合的模型: model &lt;- nls(cost.per.car ~ a * exp(b * reductions) + c, data = q24, start = …

4
如何将新向量投影到PCA空间上?
执行主成分分析(PCA)之后,我想将一个新向量投影到PCA空间上(即在PCA坐标系中找到其坐标)。 我已经使用R计算了R语言的PCA prcomp。现在,我应该可以将向量乘以PCA旋转矩阵。该矩阵中的主要成分应该按行还是按列排列?
21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

4
谁能澄清“随机变量和”的概念
在我的概率类别中,经常使用术语“随机变量的总和”。但是,我坚持到底是什么意思? 我们是在谈论来自随机变量的一堆实现的总和吗?如果是这样,那不就是一个数字吗?随机变量实现的总和如何导致我们产生分布或任何种类的cdf / pdf /功能?如果不是随机变量实现,那么到底要添加什么呢?

2
指数族的优点:为什么我们要研究和使用它?
所以我在这里研究推理。我希望有人可以列举指数家庭的优势。对于指数族,我的意思是给定为 F(x | θ )= h (x )exp{ η(θ )T(x )− B (θ )}F(X|θ)=H(X)经验值⁡{η(θ)Ť(X)-乙(θ)}\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*} 其支持不取决于参数。我发现了一些优点:θθ\theta (a)它包括各种各样的分布。 (b)根据Neyman-Fisher定理,它提供了自然足够的统计量。Ť(x )Ť(X)T(x) (c)可以为的矩生成函数提供一个很好的公式。Ť(x )Ť(X)T(x) (d)可以轻松地将响应和预测变量之间的关系与响应的条件分布(通过链接函数)分离。 谁能提供其他优势?

2
您如何“控制”一个因素/变量?
据我了解,“控制”在统计中可以有两个含义。 对照组:在实验中,未对对照组成员进行任何治疗。例如:安慰剂与药物:您将药物分配给一组而不是另一组(对照组),这也称为“对照实验”。 变量控制:分离特定自变量影响的技术。赋予该技术的其他一些名称是“占”,“保持常数”,“控制”,一些变量。例如:在一项足球观看研究中(喜欢或不喜欢),您可能想要消除性别的影响,因为我们认为性别会导致偏见,也就是说,男性可能比女性更喜欢它。 所以,我的问题是针对第(2)点。两个问题: 通常,您如何“控制” /“考虑”变量。使用什么技术?(就回归而言,方差分析框架)。 在上面的示例中,随机选择男性和女性是否构成控制?也就是说,“随机性”是控制其他效果的技术之一吗?

2
假设
证明以下陈述正确的最简单方法是什么? 假设Y1,…,Yn∼iidExp(1)Y1,…,Yn∼iidExp(1)Y_1, \dots, Y_n \overset{\text{iid}}{\sim} \text{Exp}(1)。显示∑ni=1(Yi−Y(1))∼Gamma(n−1,1)∑i=1n(Yi−Y(1))∼Gamma(n−1,1)\sum_{i=1}^{n}(Y_i - Y_{(1)}) \sim \text{Gamma}(n-1, 1)。 注意,Y(1)=min1≤i≤nYiY(1)=min1≤i≤nYiY_{(1)} = \min\limits_{1 \leq i \leq n}Y_i。 通过X∼Exp(β)X∼Exp(β)X \sim \text{Exp}(\beta),这意味着,fX(x)=1βe−x/β⋅1{x&gt;0}fX(x)=1βe−x/β⋅1{x&gt;0}f_{X}(x) = \dfrac{1}{\beta}e^{-x/\beta} \cdot \mathbf{1}_{\{x > 0\}}。 很容易看到Y(1)∼Exponential(1/n)Y(1)∼Exponential(1/n)Y_{(1)} \sim \text{Exponential}(1/n)。此外,我们也有∑ni=1Yi∼Gamma(α=n,β=1)∑i=1nYi∼Gamma(α=n,β=1)\sum_{i=1}^{n}Y_i \sim \text{Gamma}(\alpha = n, \beta = 1)的参数化下 fY(y)=1Γ(α)βαxα−1e−x/β1{x&gt;0}, α,β&gt;0.fY(y)=1Γ(α)βαxα−1e−x/β1{x&gt;0}, α,β&gt;0.f_{Y}(y) =\dfrac{1}{\Gamma(\alpha)\beta^{\alpha}}x^{\alpha-1}e^{-x/\beta}\mathbf{1}_{\{x > 0\}}\text{, }\qquad \alpha, \beta> 0\text{.} 西安人给出的解决方案答案:在原始问题中使用符号: 由此,我们得到了Σ Ñ …

1
第二矩法,布朗运动?
令BtBtB_t为标准的布朗运动。令Ej,nEj,nE_{j, n}表示事件{Bt=0 for some j−12n≤t≤j2n},{Bt=0 for some j−12n≤t≤j2n},\left\{B_t = 0 \text{ for some }{{j-1}\over{2^n}} \le t \le {j\over{2^n}}\right\},令其中表示指标函数。是否存在使得对于所有是否存在?我怀疑答案是肯定的。我尝试过弄乱第二时刻的方法,但没有太大用处。可以使用第二时刻方法显示吗?还是我应该尝试其他东西?Kn=∑j=2n+122n1Ej,n,Kn=∑j=2n+122n1Ej,n,K_n = \sum_{j = 2^n + 1}^{2^{2n}} 1_{E_{j,n}},111ρ&gt;0ρ&gt;0\rho > 0P{Kn≥ρ2n}≥ρP{Kn≥ρ2n}≥ρ\mathbb{P}\{K_n \ge \rho2^{n}\} \ge \rhonñn

1
LOOCV公式的证明
根据James等人的《统计学习入门》,留一法交叉验证(LOOCV)估计值定义为 其中。CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2 没有证据,方程式(5.2)指出,对于最小二乘或多项式回归(我是否只适用于仅对一个变量进行回归), 其中“为在从原来的最小二乘个拟合值拟合(不知道的方式这意味着什么,,它使用意味着所有数据集?点)和是杠杆作用”,这是由定义ÿ我我CV(n)=1n∑i=1n(yi−y^i1−hi)2CV(n)=1n∑i=1n(yi−y^i1−hi)2\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2y^iy^i\hat{y}_iiiihihih_ihi=1n+(xi−x¯)2∑j=1n(xj−x¯)2.hi=1n+(xi−x¯)2∑j=1n(xj−x¯)2.h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.} 如何证明这一点? 我的尝试:首先可以注意到 但分开由此(如果我还记得,公式仅适用于简单的线性回归...),我不确定如何从此处继续。ħ我y^i=β0+∑i=1kβkXk+some polynomial terms of degree ≥2y^i=β0+∑i=1kβkXk+some polynomial terms of degree ≥2\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2hihih_i

2
隐藏的马尔可夫模型与马尔可夫过渡模型与状态空间模型……?
对于我的硕士学位论文,我正在为血清状态定义的不同状态之间的转换开发统计模型。现在,我不会在此上下文中提供太多细节,因为我的问题是更笼统/理论上的。无论如何,我的直觉是我应该使用隐马尔可夫模型(HMM)。在研究文献和制定模型所需的其他背景研究时,我遇到的麻烦是对术语的困惑以及不同类型的隐藏过程模型之间的确切差异。我只是很模糊地意识到它们的区别(后面的例子)。此外,在我看来,至少从我在文献中看到的来看,围绕这种类型的建模建立了非常不标准的词汇, 因此,我希望人们能帮助我消除其中的某些歧义。我有很多问题,但是我猜想,随着一两个问题得到令人满意的回答,其余的事情将因此而纠结。我希望这不会太冗长;如果主持人希望我将其拆分为多个帖子,我会。无论如何,我都会用粗体显示问题,然后是在文献搜索过程中发现的问题的详细信息。 因此,没有特别的顺序: 1)什么是“隐藏过程模型”? 我一直认为“隐藏过程模型”是一个笼统的术语,可以用来描述许多不同类型的统计模型,这些模型本质上都是对“重叠系统,潜在隐藏的线性累加过程”([1])。确实,[2]将“隐藏过程模型”定义为“指代状态空间模型或隐藏马尔可夫模型的通用术语”。[1]似乎可以推断出隐马尔可夫模型是专门针对二进制状态推论的隐式过程模型的子类型。在我看来,基本含义是隐藏过程模型是隐藏马尔可夫模型的概括。我有时会看到“隐藏的流程模型”和“ 我的直觉对吗?如果不是,是否有人参考可以更清楚地描述这些方法? 2)隐马尔可夫模型和状态空间模型有什么区别? 再次回到[2](仅是因为该论文带有清晰的术语表,而不是因为该论文本身似乎特别权威;它只是单句定义的便捷来源),差异似乎在于隐马尔可夫模型是状态空间模型的一种特定类型,其中状态是马尔可夫状态(似乎对马尔可夫过程的阶没有明确的限制;即,一阶,...,k阶)。这里,状态空间模型被定义为“一个模型,它并行运行两个时间序列,一个捕获真实状态(潜在)的动态,另一个捕获由这些潜在但可能未知的状态组成的观测值。” 如果那些州也表现出马尔可夫性质,那么它就是一个隐马尔可夫模型。 然而,[3]将状态空间模型与隐马尔可夫模型之间的差异定义为与潜在状态的特征有关。在这里,隐马尔可夫模型处理离散状态,而状态空间模型处理连续状态。否则,它们在概念上是相同的。 在我看来,这是两个截然不同的定义。在一种情况下,隐马尔可夫模型是状态空间模型的子类型,而在另一种情况下,它们两者都是更广泛的隐藏过程模型类的不同实例。以下哪项是正确的?我的直觉指向我遵循[3]而不是[2],但是我找不到支持这一观点的权威资料。 3)什么是“马尔可夫转移模型”? 许多资料中出现的另一个术语是“马尔可夫过渡模型”。我在任何教科书中都找不到该短语,但是在期刊文章中却出现了很多(只需将其插入Google进行确认即可)。我无法找到该术语的严格定义(我发现每篇论文都引用了另一篇论文,引用了另一篇论文,等等,将我送往一个毫无理智的PubMed兔子洞中)。我从上下文中得到的印象是,这是一个非常笼统的术语,指的是其中推论的对象是遵循马尔可夫过程的状态之间的转换的任何模型,并且隐马尔可夫模型可以被视为马尔可夫转换模型的一种特定类型。 。[4]然而,似乎可以互换使用过渡模型,隐马尔可夫模型和几个类似的术语。 另一方面,[5]在讨论马尔可夫转移模型和隐马尔可夫模型方面有些不同。作者指出:“过渡模型提供了一种汇总响应者动力学的方法,有助于解释更复杂的隐马尔可夫模型的结果”。我不完全理解这句话的含义,也无法在本文的其他地方找到理由。但是,他们似乎暗示Markov过渡模型将时间用作连续变量,而隐藏的Markov模型将时间用作离散变量(它们没有直接说出来;他们说他们使用R包'msm'来拟合Markov过渡模型,后来将“ msm”描述为与HMM的R包相比,连续地处理时间)。 4)其他概念(例如动态贝叶斯网络)适合什么地方? 根据维基百科,动态贝叶斯网络是“隐马尔可夫模型和卡尔曼滤波器的概括”。在其他地方,我看到了隐马尔可夫模型,它被定义为动态贝叶斯网络的一种特例,“世界的整个状态由一个单独的隐藏状态变量表示”(动态贝叶斯系统的定义及其与HMM的关系?)。 。我通常理解这种关系,[6]对此做了很好的解释。 但是,我很难理解这种关系如何适用于更广泛的事物。也就是说,考虑到HMM和DBN之间的这种关系,状态空间模型和隐藏过程模型如何与两者相关?考虑到隐马尔可夫模型似乎有多个“概括”,所有这些不同类型的方法如何相互关联? 参考文献: [1]汤姆·米切尔(Tom M. Mitchell),丽贝卡·哈金森(Rebecca Hutchinson),Indrayana Rustandi。“隐藏的过程模型”。2006.CMU-CALD-05-116。卡内基·梅隆大学。 [2]奥利弗·吉米尼斯(Oliver Giminez),让·多米尼克·勒布雷顿(Jean-Dominique Lebreton),让·米歇尔·盖拉德(Jean-Michel Gaillard),雷米·乔奎特(Remi Choquet),罗杰·普拉德尔(Roger Pradel)。“使用隐藏的过程动态模型估计人口统计参数”。理论种群生物学。2012.82(4):307-316。 [3]芭芭拉·恩格哈特。“隐马尔可夫模型和状态空间模型”。STA561:概率机器学习。杜克大学。http://www.genome.duke.edu/labs/engelhardt/courses/scribe/lec_09_25_2013.pdf [4] Jeroen K. Vermunt。“连续时间的多级潜在马尔可夫建模及其在动态情绪评估数据分析中的应用”。社会统计讲习班。2012年,蒂尔堡大学。http://www.lse.ac.uk/statistics/events/SpecialEventsandConferences/LSE2013-Vermunt.pdf [5]肯·理查森,大卫·哈特,克里斯蒂·卡特。“了解健康和劳动力转移:将Markov模型应用于SoFIE纵向数据”。官方统计研究丛书。2012。 [6] Zoubin Ghahramani。“隐马尔可夫模型和贝叶斯网络简介”。模式识别与人工智能杂志。2001. 15(1):9-42。

4
什么是独立背后的直觉和,?
我希望有人提出一个论点,解释为什么随机变量 和( 具有标准正态分布的在统计上是独立的。MGF技术很容易证明这一事实,但是我发现这非常违反直觉。Y1=X2−X1Y1=X2−X1Y_1=X_2-X_1Y2=X1+X2Y2=X1+X2Y_2=X_1+X_2XiXiX_i 因此,如果有任何直觉,我将不胜感激。 先感谢您。 编辑:下标不表示订单统计,而是来自标准正态分布的IID观察值。

9
参考要求:广义线性模型
我正在寻找有关广义线性模型的入门级到中级水平的书。理想情况下,除了模型背后的理论外,我希望它包括R或另一种编程语言的应用程序和示例-我听说SAS也是一种流行的选择。我打算自己研究它,因此如果它为自己的练习提供了答案,将会有所帮助。 您可以假设我参加了为期一年的传统微积分和概率论课程。我还熟悉回归分析的基础。


By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.