Questions tagged «latent-variable»

潜在变量是指无法直接观察到的变量。这些变量是根据可观察变量定义的。从狭义上讲,“潜在变量”被视为/建模为在隐含数据生成过程中生成观察到的变量的模型。也称为隐藏变量或潜伏变量。

5
LDA与Word2Vec
我试图了解潜在Dirichlet分配和word2vec之间的相似度,用于计算单词相似度。 据我了解,LDA将单词映射到潜在主题的概率向量,而word2vec 将单词映射到实数的向量(与逐点互信息的奇异值分解有关,请参阅O. Levy,Y。Goldberg,“神经词嵌入作为隐式矩阵分解”;另请参见word2vec如何工作?)。 我对理论关系(可以被认为是一种概括或另一种变化)和实践(当使用一种而不是另一种)都感兴趣。 有关: 计算文档之间距离的一些标准方法是什么?-DataScience.SE

3
潜在类分析与聚类分析-推断的差异?
潜在类分析(LCA)与聚类分析可得出的推断有何区别?LCA假设一个潜在的潜在变量会引起这些类,而聚类分析是对聚类算法中相关属性的经验描述,这是正确的吗?似乎在社会科学中,LCA已得到普及,并且由于它具有正式的卡方显着性检验而在方法论上被认为是优越的,而聚类分析则没有。 如果能够以以下形式提供示例,那就太好了:“ LCA适合于此(但不适合聚类分析),聚类分析适合于此(但不适合潜在类别分析)。 谢谢!布赖恩

1
广义线性模型(GLM)的潜在变量解释
简洁版本: 我们知道逻辑回归和概率回归可以解释为涉及一个连续的潜在变量,该变量根据观察之前的某个固定阈值离散化。对于泊松回归,是否可以使用类似的潜在变量解释?当有两个以上的离散结果时,二项式回归(如logit或probit)怎么样?在最一般的层面上,是否有一种方法可以根据潜在变量来解释任何GLM? 长版: 以下是激发二进制结果的概率模型的标准方法(例如,来自Wikipedia)。我们有一个不可观测的/潜在的结果变量YYY,该变量以预测变量为正态分布XXX。该潜变量经过阈值处理,因此,如果,我们实际观察到的离散结果为,如果,则。这导致给定时的概率采用正态CDF形式,均值和标准差是阈值的函数 ý ≥ γ û = 0 ý &lt; γ Xu=1u=1u=1Y≥γY≥γY \ge \gammau=0u=0u=0Y&lt;γY&lt;γY < \gammau=1u=1u=1XXXγγ\gamma和回归的斜率的。YYYXXX,分别。因此,以概率模型为动力,以此作为根据对潜在回归来估计斜率的一种方法。YYYXXX 下图来自Thissen&Orlando(2001)。这些作者在技术上从项目响应理论上讨论正常的ogive模型,该模型对于我们的目的而言很像概率回归(请注意,这些作者使用代替,并且概率用代替了通常的)。X Ť Pθθ\thetaXXXTTTPPP 我们可以以几乎完全相同的方式解释逻辑回归。唯一不同的是,现在没有观察到连续遵循物流配送,而不是一个正态分布,给出X。关于为什么的理论论证YYYXXX可能遵循逻辑分布而不是正态分布不太清楚...但是由于实际应用(在重新缩放后)所得的逻辑曲线看起来与正态CDF基本相同,因此可以说是“不会”。在实践中,使用哪种模型往往很重要。关键是两个模型都具有非常简单明了的潜在变量解释。YYY 我想知道我们是否可以将外观相似(或地狱外观不同)的潜在变量解释应用于其他GLM 甚至任何 GLM。 即使将上述模型扩展为考虑二项式结果(即,不仅仅是伯努利结果),对我来说也不是很清楚。大概可以通过想象,我们有多个阈值(比观察到的离散结果少一个),而不是只有一个阈值γ来做到这一点。但是我们需要对阈值施加一些约束,例如阈值是均匀分布的。我很确定像这样的东西可以工作,尽管我还没有弄清楚细节。n&gt;1n&gt;1n>1γγ\gamma 对我来说,转向泊松回归的情况似乎还不清楚。我不确定阈值的概念是否将是在这种情况下考虑模型的最佳方法。我也不确定我们可以将潜在结果设想为什么样的分布。 最理想的解决方案是用具有某些分布或其他形式的潜在变量来解释任何 GLM 的通用方法-即使该通用解决方案暗示的隐式变量解释与通常的logit / probit回归解释不同。当然,如果通用方法与对logit / probit的通常解释一致,而且自然扩展到其他GLM,那会更酷。 但是,即使在一般GLM案例中通常无法使用这种潜在变量解释,我也想听听有关特殊情况(例如我上面提到的Binomial和Poisson案例)的潜在变量解释。 参考文献 Thissen,D.&Orlando,M.(2001)。物品响应理论分为两类。在D.Thissen&Wainer,H.(编辑)的《测试评分》(第73-140页)中。新泽西州马瓦市:Lawrence Erlbaum Associates,Inc. 编辑2016-09-23 在某种意义上,任何GLM都是潜在变量模型,这就是说我们可以始终将估计的结果分布参数视为“潜在变量”,也就是说,我们不直接观察,例如泊松的rate参数,我们只是从数据中推断出来。我认为这是一个相当琐碎的解释,并不是我真正想要的解释,因为根据这种解释,任何线性模型(当然还有许多其他模型!)都是“潜在变量模型”。例如,在正态回归中,给定正态Y的“潜伏” μμ\muYYYXXX。因此,这似乎将潜在变量建模与仅参数估计混为一谈。例如,在泊松回归的情况下,我正在寻找的东西看起来更像是一个理论模型,它说明了观察到的结果为何首先应该具有泊松分布的情况,并给出了一些假设(由您填写!)。潜在的分布,选择过程(如果有的话)等。然后(也许很关键?),我们应该能够根据这些潜在分布/过程的参数来解释估计的GLM系数,类似于我们如何根据潜在正态变量的均值漂移和/或阈值γ的均值漂移,从概率回归中解释系数。YYYγγ\gamma

5
如何开始使用项目响应理论以及使用什么软件?
语境 我一直在阅读有关项目响应理论的文章,​​并且觉得很有趣。我相信我了解基本知识,但是我想知道如何应用与该领域相关的统计技术。以下是与我要在其上应用ITR的领域相似的两篇文章: http://www.jstor.org/stable/4640738?seq=7 http://www.ncbi.nlm.nih.gov/pubmed/21744971 第二个是我实际上想在此时扩展的那个。 我已经下载了一个名为jMetrik的免费程序,它似乎运行良好。我认为就IRT而言,这可能太基本了,但我不确定。 我知道“最佳”方式可能涉及学习R;但是,我不知道我是否可以抽出时间来解决这一学习难题。请注意,我们有一些资金来购买软件,但是据我看来,似乎没有任何出色的IRT程序。 问题 您对jMetrik的有效性有何看法? 您如何建议我继续申请IRT? 应用IRT的最佳方案是什么? 你们中的任何人都定期使用IRT吗?如果是这样,怎么办?

3
如何在非负矩阵分解中选择最佳潜在因子数量?
给定的矩阵Vm×nVm×n\mathbf V^{m \times n},非负矩阵分解(NMF)发现两个非负矩阵Wm×kWm×k\mathbf W^{m \times k}和Hk×nHk×n\mathbf H^{k \times n}(即与所有元素≥0≥0\ge 0)来表示分解矩阵为: V≈WH,V≈WH,\mathbf V \approx \mathbf W\mathbf H, 例如要求非负的WW\mathbf W和HH\mathbf H∥V−WH∥2.‖V−WH‖2.\|\mathbf V-\mathbf W\mathbf H\|^2. 是否有通用的方法来估算kkk NMF中?例如,如何将交叉验证用于此目的?

1
参数与潜在变量
我以前曾问过这个问题,并且一直在努力确定什么使模型参数以及什么使它成为潜在变量。因此,在本站点上有关该主题的各种主题中,主要区别似乎是: 不会观察到潜在变量,但它们具有相关的概率分布,因为它们是变量,也未观察到参数,也没有与它们相关的分布,据我所知,这些变量是常数,并且具有固定但未知的值,我们正在尝试找。同样,我们可以对参数进行先验表示,以表示我们对这些参数的不确定性,即使只有一个真实值与它们相关联,或者至少是我们所假设的。我希望到目前为止我是对的吗? 现在,我一直在从期刊论文中查看贝叶斯加权线性回归的示例,并且确实在努力理解什么是参数和什么是变量: yi=βTxi+ϵyiyi=βTxi+ϵyi y_i = \beta^T x_i + \epsilon_{y_i} 这里观察到和,但是只有被视为变量,即具有与之关联的分布。ÿ ÿxxxyyyyyy 现在,建模假设为: y∼N(βTxi,σ2/wi)y∼N(βTxi,σ2/wi) y \sim N(\beta^Tx_i, \sigma^2/w_i) 因此,的方差被加权。yyy 和上也有一个先验分布,分别是正态分布和gamma分布。 w ^ββ\betawww 因此,完整的对数可能性由下式给出: logp(y,w,β|x)=ΣlogP(yi|w,β,xi)+logP(β)+ΣlogP(wi)log⁡p(y,w,β|x)=Σlog⁡P(yi|w,β,xi)+log⁡P(β)+Σlog⁡P(wi) \log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i) 现在,据我了解,和都是模型参数。但是,在本文中,他们一直将它们称为潜在变量。我的推论是和都是变量的概率分布的一部分,它们都是模型参数。但是,作者将它们视为潜在的随机变量。那是对的吗?如果是这样,模型参数是什么?w ^ β w ^ ÿββ\betawwwββ\betawwwyyy 可以在这里找到该论文(http://www.jting.net/pubs/2007/ting-ICRA2007.pdf)。 本文是Ting等人的《自动离群值检测:贝叶斯方法》。

2
如何结合因素分析,内部一致性和项目响应理论来减少项目数量?
我正在根据经验设计调查表,在此示例中,我将使用任意数字进行说明。就上下文而言,我正在开发一项心理调查表,旨在评估焦虑症患者中常见的思维模式。一个项目可能看起来像是“我需要反复检查烤箱,因为我不能确定烤箱已关闭 ”。 我有20个问题(5分李克特),可能由一个或两个因素组成(请注意,实际上我有将近200个问题,由10个量表组成,每个量表可能由两个因素组成)。我愿意删掉大约一半的项目,只针对两个因素之一提出10个问题。 我熟悉探索性因素分析(EFA),内部一致性(克朗巴赫(Cronbach's alpha))以及项目响应理论(IRT)中的项目特征曲线。我可以看到我将如何使用这些方法中的任何一个来确定哪些项目是任何单个范围内的“较差”。我很欣赏每种方法还可以回答不同的问题,尽管它们可能导致相似的结果,而且我不确定哪个“问题”最重要。 在开始之前,请确保我分别知道每种方法的用途。 使用EFA,我将确定因素的数量,并删除在其各自因素上负荷最小(假设为&lt;.30)或在各个因素之间交叉负荷的项目。 使用内部一致性,我将删除“如果删除了项目,则alpha值更差”的项目。我可以在假设我的量表中有一个因子的情况下进行此操作,也可以在初始EFA之后执行该操作以识别因子的数量,然后对每个因子运行alpha。 使用IRT,我将删除(5 Likert)响应选项中未评估关注因素的项目。我会盯着项目特征曲线。我基本上是在寻找一个45度角的直线,该直线从李克特量表的选项1一直沿潜分数上升到5。我可以假设一个因素,也可以在初始 EFA之后执行该步骤以识别多个因素,然后为每个因素运行曲线。 我不确定要使用哪种方法才能最好地确定哪些项目是“最差的”。我从广义上使用最差的方法,以使该项目在可靠性或有效性方面都不利于测量,这两者对我来说都同样重要。大概我可以结合使用它们,但是我不确定如何使用。 如果要继续我现在所知道的并尽我所能,请执行以下操作: 进行全民教育,以确定许多因素。还要删除因其各自因素而导致加载不良的项目,因为我不希望加载不良的项目,无论它们在其他分析中的表现如何。 如果IFA中还有任何残留物,则也要进行IRT并从该分析中判断出还除去不良品。 只需报告Cronbach的Alpha,不要将其用作删除项目的手段。 任何一般准则将不胜感激! 这也是您可能会回答的特定问题的列表: 在基于因子负荷删除项目和基于Chronbach的alpha删除项目之间(在两种分析中使用相同的因子布局)之间的实际区别是什么? 我应该先做什么?假设我用一个因素进行EFA和IRT,并且都确定了应删除的不同项目,那么哪个分析应该优先? 尽管我将报告Chronbach的Alpha值,但我对进行所有这些分析并不感到困难。我觉得仅执行IRT会遗漏某些内容,对于EFA同样如此。


1
MIMIC因子和指标综合指数(SEM)有什么区别?
在具有潜在变量(SEM)的结构方程建模中,常见的模型公式是“多个指标,多个原因”(MIMIC),其中潜在变量是由某些变量引起并由其他变量反映的。这是一个简单的示例: 从本质上讲,f1是一个回归结果为x1,x2和x3,和y1,y2和y3用于测量指标f1。 也可以定义一个复合的潜在变量,其中潜在变量基本上等于其组成变量的加权组合。 这是我的问题:f1在MIMIC模型中,定义为回归结果与将其定义为复合结果之间有区别吗? 使用中的lavaan软件进行的一些测试R表明系数相同: library(lavaan) # load/prep data data &lt;- read.table("http://www.statmodel.com/usersguide/chap5/ex5.8.dat") names(data) &lt;- c(paste("y", 1:6, sep=""), paste("x", 1:3, sep="")) # model 1 - canonical mimic model (using the '~' regression operator) model1 &lt;- ' f1 =~ y1 + y2 + y3 f1 ~ x1 + x2 + x3 ' …

1
您如何使用EM算法为零膨胀泊松模型的潜在变量公式计算MLE?
通过 为样本定义零膨胀的Poisson回归模型 ,并进一步假设参数和满足(y1,…,yn)(y1,…,yn)(y_1,\ldots,y_n)ÿ一世= { 0ķ概率为p 一世+ (1 − p一世)e- λ一世概率(1 − p 一世)e- λ一世λķ一世/ k!Yi={0with probability pi+(1−pi)e−λikwith probability (1−pi)e−λiλik/k! Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}λ =( λ1个,… ,λñ)λ=(λ1,…,λn)\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)p =( p1个,… ,pñ)p=(p1,…,pn)\textbf{p} = (p_1, \dots, p_n) …

2
如何在PLS中计算回归系数的置信区间?
PLS的基本模型是,给定的矩阵和向量y与 X = TP'+ E,y = T q'+ f相关, 其中T是一个潜在的n x k矩阵,而E ,f是噪声项(假设X,y为中心)。n×mn×mn \times mXXXnnnyyyX=TP′+E,X=TP′+E,X = T P' + E, y=Tq′+f,y=Tq′+f,y = T q' + f,TTTn×kn×kn \times kE,fE,fE, fX,yX,yX, y PLS生成T,P,q的估计T,P,qT,P,qT, P, q,以及回归系数\ hat {\ beta}的“捷径”向量,β^β^\hat{\beta}从而y∼Xβ^y∼Xβ^y \sim X \hat{\beta}。我想在一些简化的假设下找到\ hat {\ beta}的分布β^β^\hat{\beta},其中可能包括以下内容: 该模型是正确的,即 对于未知的T,P,q,X = TP'+ E,y = T q'+ …

2
EM算法练习题
这是期中考试的练习题。问题是一个EM算法示例。我在(f)部分遇到了麻烦。我列出了要完成的部分(a)-(e),以防万一我之前弄错了。 令是速率为独立指数随机变量。不幸的是,没有观察到实际的值,我们仅观察值是否落在特定间隔内。令,和 对于。观察到的数据由。X1,…,XnX1,…,XnX_1,\ldots,X_nθθ\thetaXXXXXXG1j=1{Xj&lt;1}G1j=1{Xj&lt;1}G_{1j} = \mathbb{1}\left\{X_j < 1\right\}G2j=1{1&lt;Xj&lt;2}G2j=1{1&lt;Xj&lt;2}G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}G3j=1{Xj&gt;2}G3j=1{Xj&gt;2}G_{3j} = \mathbb{1}\left\{X_j > 2\right\}j = 1 ,… ,nĴ=1个,…,ñj=1,\ldots,n(G1 Ĵ,G2 Ĵ,G3 Ĵ)(G1个Ĵ,G2Ĵ,G3Ĵ)(G_{1j},G_{2j},G_{3j}) (a)给出观察到的数据可能性: L (θ | G )=∏j = 1ñ镨{XĴ&lt; 1 }G1 Ĵ镨{ 1 &lt;XĴ&lt; 2 }G2 Ĵ镨{XĴ&gt; 2 }G3 Ĵ=∏j = 1ñ(1−e−θ)G1j(e−θ−e−2θ)G2j(e−2θ)G3jL(θ|G)=∏j=1nPr{Xj&lt;1}G1jPr{1&lt;Xj&lt;2}G2jPr{Xj&gt;2}G3j=∏j=1n(1−e−θ)G1j(e−θ−e−2θ)G2j(e−2θ)G3Ĵ\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{12\right\}^{G_{3j}}\\ …
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.