Questions tagged «exponential-family»

一组共享特定形式的分布（例如，正态，，泊松等）。指数族中的许多分布是统计中的标准主力分布，具有方便的统计属性。 χ2

2
指数族的优点：为什么我们要研究和使用它？
所以我在这里研究推理。我希望有人可以列举指数家庭的优势。对于指数族，我的意思是给定为 F（x | θ ）= h （x ）exp{ η（θ ）T（x ）− B （θ ）}F（X|θ）=H（X）经验值⁡{η（θ）Ť（X）-乙（θ）}\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*} 其支持不取决于参数。我发现了一些优点：θθ\theta （a）它包括各种各样的分布。 （b）根据Neyman-Fisher定理，它提供了自然足够的统计量。Ť（x ）Ť（X）T(x) （c）可以为的矩生成函数提供一个很好的公式。Ť（x ）Ť（X）T(x) （d）可以轻松地将响应和预测变量之间的关系与响应的条件分布（通过链接函数）分离。 谁能提供其他优势？
2
指数族为什么不包括所有分布？
我正在读这本书： 主教，模式识别和机器学习（2006年） 将指数族定义为以下形式的分布（方程2.194）： p(x|η)=h(x)g(η)exp{ηTu(x)}p(x|η)=h(x)g(η)exp⁡{ηTu(x)}p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\} 但是我没有看到对h(x)h(x)h(\mathbf x)或u(x)u(x)\mathbf u(\mathbf x)。这是否意味着通过适当选择h（\ mathbf x）和\ mathbf u（\ mathbf x）（实际上只有其中一个必须正确选择！），任何分布都可以采用这种形式？那么，指数族为何不包括所有概率分布呢？我想念什么？h(x)h(x)h(\mathbf x)u(x)u(x)\mathbf u(\mathbf x) 最后，我感兴趣的一个更具体的问题是：伯努利分布在指数族中吗？维基百科声称是这样，但是由于我对这里的某些事情显然感到困惑，所以我想知道为什么。
3
泊松是指数级的，就像伽玛泊松是什么一样？
泊松分布可以测量单位时间内的事件，参数为。指数分布使用参数度量直到下一个事件的时间。一个可以将一个分布转换为另一个分布，这取决于对事件或时间进行建模更容易。λλ\lambda1λ1λ\frac{1}{\lambda} 现在，伽马-泊松是具有较大差异的“拉伸”泊松。威布尔分布是具有较大方差的“拉伸”指数。但是，可以像将Poisson转换成指数一样，轻松地将二者转换为彼此吗？ 还是有一些其他分布更适合与伽马-泊松分布结合使用？ 伽马泊松也称为负二项分布或NBD。
1
GLM中的对数似然性是否可以保证收敛到全局最大值？
我的问题是： 是否可以保证广义线性模型（GLM）收敛到全局最大值？如果是这样，为什么？ 此外，链接函数对确保凸性有哪些约束？ 我对GLM的理解是它们最大化了高度非线性的似然函数。因此，我可以想象有几个局部最大值，您收敛到的参数集取决于优化算法的初始条件。但是，在进行了一些研究之后，我没有找到一个单一的来源来表明存在多个局部最大值。此外，我对优化技术不是很熟悉，但是我知道Newton-Raphson方法和IRLS算法非常容易出现局部最大值。 请尽可能在直观和数学的基础上进行解释！ 编辑：dksahuji回答了我的原始问题，但我想在上面添加后续问题[ 2 ]。（“链接函数上有什么约束可确保凸性？”）
2
GLM的归一化变换的推导
\newcommand{\E}{\mathbb{E}}如何是A(⋅)=∫duV1/3(μ)A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)}正火变换为指数族衍生？ XXXh(X)h(X)h(X)κiκi\kappa _iithithi^{th}κ3(h(X¯))≈h′(μ)3κ3(X¯)N2+3h′(μ)2h′′(μ)σ4N+O(N−3),κ3(h(X¯))≈h′(μ)3κ3(X¯)N2+3h′(μ)2h″(μ)σ4N+O(N−3), \kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N} + O(N^{-3}), h(X)h(X)h(X) 我的第一个问题是关于算术的：我的泰勒展开式具有不同的系数，我不能证明他们放弃了许多项。 Since h(x)h(X¯)−h(u)E(h(X¯)−h(u))3≈h(μ)+h′(μ)(x−μ)+h′′(x)2(x−μ)2, we have:≈h′(u))(X¯−μ)+h′′(x)2(X¯−μ)2≈h′(μ)3E(X¯−μ)3+32h′(μ)2h′′(μ)E(X¯−μ)4+34h′(μ)h′′(μ)2E(X¯−μ)5+18h′′(μ)3E(X¯−μ)6.Since h(x)≈h(μ)+h′(μ)(x−μ)+h″(x)2(x−μ)2, we have:h(X¯)−h(u)≈h′(u))(X¯−μ)+h″(x)2(X¯−μ)2E(h(X¯)−h(u))3≈h′(μ)3E(X¯−μ)3+32h′(μ)2h″(μ)E(X¯−μ)4+34h′(μ)h″(μ)2E(X¯−μ)5+18h″(μ)3E(X¯−μ)6.\begin{align} \text{Since }h(x) &\approx h(\mu) + h'(\mu)(x - \mu) + \frac{h''(x)}{2}(x - \mu)^2\text{, we have:} \\ h(\bar{X}) - h(u) &\approx h'(u))(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 \\ …
2
两个伽马分布之间的Kullback–Leibler散度
选择通过pdf g （x ; b ，c ）= 1参数化伽马分布Γ(b,c)Γ(b,c)\Gamma(b,c)g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} 之间的相对熵Γ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)和Γ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)是由为[1]中给出 KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} 我猜Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x)是digamma函数。 这是没有派生的。我找不到任何可以得出这一点的参考。有什么帮助吗？一个好的参考就足够了。困难的部分是将与gamma pdf 集成。logxlog⁡x\log x [1] WD Penny，法线，伽马，狄利克雷和Wishart密度的KL散度，请访问：www.fil.ion.ucl.ac.uk/~wpenny/publications/densities.ps
3
分配家庭的定义？
分布族对统计的定义是否不同于其他学科？ 通常，曲线族是一组曲线，每条曲线由一个函数或参数化给定，其中一个或多个参数发生变化。这样的族例如用于表征电子部件。 为了进行统计，根据形状来源的一个族是改变形状参数的结果。那么，我们如何才能理解伽玛分布具有形状和比例参数，并且只有广义伽玛分布才具有位置参数？这是否会使家庭成为改变位置参数的结果？根据@whuber一个家庭的意义是隐式A中的家庭的“参数化”是从ℝ的一个子集的连续映射Ñ，以其平常的拓扑结构，为分布的空间，其图像是家庭。n^n 用简单的语言来说，统计分布族是什么？ 关于同一个家庭的分布的统计属性之间的关系的一个问题已经为另一个问题引起了很大的争议，因此似乎值得探讨其含义。 不一定是一个简单的问题，是因为它在指数族这一短语中的使用而产生的，它与曲线族无关，但与通过重新参数化（不仅是参数）改变分布的PDF的形式有关。 ，还可以替换独立随机变量的功能。
1
指数族分布是否均存在均值和方差？
假设标量随机变量属于具有pdf的矢量参数指数族XXX FX（x | θ ）= h （x ）exp（∑我= 1sη一世（θ）T一世（X ）- 甲（θ））fX(x|θ)=h(x)exp⁡(∑i=1sηi(θ)Ti(x)−A(θ)) f_X(x|\boldsymbol \theta) = h(x) \exp\left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) T_i(x) - A({\boldsymbol \theta}) \right) 其中θ =（θ1个，θ2，⋯ ，θs）Ťθ=(θ1,θ2,⋯,θs)T{\boldsymbol \theta} = \left(\theta_1, \theta_2, \cdots, \theta_s \right )^T是参数向量，T（x）=（T1个（X ），Ť2（x ），⋯ ，Ts（x ））ŤT(x)=(T1(x),T2(x),⋯,Ts(x))T\mathbf{T}(x)= \left(T_1(x), T_2(x), \cdots,T_s(x) \right)^T是联合充分统计量。 可以证明存在每个T_i（x）的均值和方差Ť一世（x ）Ti(x)T_i(x)。但是，X的均值和方差XXX（即Ë（X）E(X)E(X)和V一个- [R （X）Var(X)Var(X)）是否也总是存在吗？如果不是，是否存在这种形式的指数族分布实例，其均值和变量不存在？ 谢谢。
1
通用线性模型（GLM）是否总是存在规范链接函数？
在GLM中，假定基础分布的标量和具有pdf 可以证明。如果链接函数满足以下条件，则其中是线性预测变量，则为此被称为规范链接函数模型。YYYθθ\thetafY(y|θ,τ)=h(y,τ)exp(θy−A(θ)d(τ))fY(y|θ,τ)=h(y,τ)exp⁡(θy−A(θ)d(τ))f_Y(y | \theta, \tau) = h(y,\tau) \exp{\left(\frac{\theta y - A(\theta)}{d(\tau)} \right)}μ=E(Y)=A′(θ)μ=E⁡(Y)=A′(θ) \mu = \operatorname{E}(Y) = A'(\theta)g(⋅)g(⋅)g(\cdot)g(μ)=θ=X′βg(μ)=θ=X′βg(\mu)=\theta = X'\beta X′βX′βX'\betag(⋅)g(⋅)g(\cdot) 我的问题是，规范链接功能是否始终存在于GLM中？换句话说，总是可以反转吗？规范链接函数存在的必要条件是什么？A′(θ)A′(θ)A'(\theta)
1
高阶矩的高斯似分布
对于均值和方差未知的高斯分布，标准指数族形式的充分统计量为。我的分布具有，其中N有点像设计参数。这种足够的统计向量是否有相应的已知分布？我需要此分布中的样本，因此从分布中获取准确的样本对我来说至关重要。非常感谢。ţ （X ）= （X ，X 2，。。。，X 2 Ñ）Ť（x ）= （x ，x2）T(x)=(x,x2)T(x)=(x,x^2)Ť（x ）= （x ，x2，。。。，X2 N）T(x)=(x,x2,...,x2N)T(x)=(x,x^2,...,x^{2N})
1
找到
设X1,X2,...,XnX1,X2,...,XnX_1, X_2, . . . , X_n是具有pdf的iid随机变量 fX(x∣θ)=θ(1+x)−(1+θ)I(0,∞)(x)fX(x∣θ)=θ(1+x)−(1+θ)I(0,∞)(x)f_X(x\mid\theta) =\theta(1 +x)^{−(1+\theta)}I_{(0,\infty)}(x) 其中θ>0θ>0\theta >0。给出1的UMVUE1θ1θ\frac{1}{\theta}并计算其方差 我了解了两种用于获得UMVUE的方法： 克莱默罗下界（CRLB） 莱曼-舍夫·特莱姆 我将尝试使用两者中的前者。我必须承认，我不完全了解这里发生的事情，而我的尝试解决方案是基于一个示例问题。我有一个fX(x∣θ)fX(x∣θ)f_X(x\mid\theta)是一个完整的单参数指数族与 h(x)=I(0,∞)h(x)=I(0,∞)h(x)=I_{(0,\infty)}，c(θ)=θc(θ)=θc(\theta)=\theta，w(θ)=−(1+θ)w(θ)=−(1+θ)w(\theta)=-(1+\theta)，t(x)=log(1+x)t(x)=log(1+x)t(x)=\text{log}(1+x) 由于w′(θ)=1w′(θ)=1w'(\theta)=1在ΘΘ\Theta上不为零，因此适用CRLB结果。我们有 log fX(x∣θ)=log(θ)−(1+θ)⋅log(1+x)log fX(x∣θ)=log(θ)−(1+θ)⋅log(1+x)\text{log }f_X(x\mid\theta)=\text{log}(\theta)-(1+\theta)\cdot\text{log}(1+x) ∂∂θlog fX(x∣θ)=1θ−log(1+x)∂∂θlog fX(x∣θ)=1θ−log(1+x)\frac{\partial}{\partial \theta}\text{log }f_X(x\mid\theta)=\frac{1}{\theta}-\text{log}(1+x) ∂2∂θ2log fX(x∣θ)=−1θ2∂2∂θ2log fX(x∣θ)=−1θ2\frac{\partial^2}{\partial \theta^2}\text{log }f_X(x\mid\theta)=-\frac{1}{\theta^2} 所以I1(θ)=−E(−1θ2)=1θ2I1(θ)=−E(−1θ2)=1θ2I_1(\theta)=-\mathsf E\left(-\frac{1}{\theta^2}\right)=\frac{1}{\theta^2} 和CRLB为的无偏估计τ(θ)τ(θ)\tau(\theta)是 [τ′(θ)]2n⋅I1(θ)=θ2n[τ′(θ)]2[τ′(θ)]2n⋅I1(θ)=θ2n[τ′(θ)]2\frac{[\tau'(\theta)]^2}{n\cdot I _1(\theta)} = \frac{\theta^2}{n}[\tau'(\theta)]^2 由于∑i=1nt(Xi)=∑i=1nlog(1+Xi)∑i=1nt(Xi)=∑i=1nlog(1+Xi)\sum_{i=1}^n t(X_i)=\sum_{i=1}^n \text{log}(1+X_i) 那么∑ni=1log(1+Xi)∑i=1nlog(1+Xi)\sum_{i=1}^n \text{log}(1+X_i)任何线性函数，或者等效地，1的任何线性函数1n∑ni=1log(1+Xi)1n∑i=1nlog(1+Xi)\frac{1}{n}\sum_{i=1}^n \text{log}(1+X_i)，将达到其期望的CRLB，因此将成为其期望的UMVUE。由于E(log(1+X))=1θE(log(1+X))=1θ\mathsf E(\text{log}(1+X))=\frac{1}{\theta}我们的UMVUE为1θ1θ\frac{1}{\theta}是1n∑ni=1log(1+Xi)1n∑i=1nlog(1+Xi)\frac{1}{n}\sum_{i=1}^n \text{log}(1+X_i) 对于天然的参数，我们可以让η=−(1+θ)⇒θ=−(η+1)η=−(1+θ)⇒θ=−(η+1)\eta=-(1+\theta)\Rightarrow \theta=-(\eta+1) …
1
具有的最小方差的无偏估计量
让X1个，。。。，XñX1个，。。。，Xñ X_1, ...,X_n 成为分布的随机样本 ģ Ë ø 米é 吨ř 我Ç （θ ）GËØ米ËŤ[R一世C（θ）Geometric(\theta) 对于 0 &lt; θ &lt; 10&lt;θ&lt;1个0<\theta<1。即 pθ（X ）= θ （1 - θ）x − 1一世{ 1 ，2 ，。。。}（x ）pθ（X）=θ（1个-θ）X-1个一世{1个，2，。。。}（X）p_{\theta}(x)=\theta(1-\theta)^{x-1} I_{\{1,2,...\}}(x) 查找具有最小方差的无偏估计量 G（θ ）=1个θG（θ）=1个θg(\theta)=\frac{1}{\theta} 我的尝试： 由于几何分布来自指数族，因此统计 ∑X一世∑X一世\sum X_i 完整且足够 θθ \theta。另外，如果Ť（X）=X1个Ť（X）=X1个T(X)=X_1 是一个估计 G（θ ）G（θ）g(\theta)，这是公正的。因此，根据Rao-Blackwell定理和Lehmann-Scheffé定理， w ^（X）= E[X1个| ∑X一世]w ^（X）=Ë[X1个|∑X一世]W(X) = …
1
指数族：观察到的与期望的足够统计量
我的问题来自阅读Minka的“估计Dirichlet分布”，该陈述在根据随机向量的观察推导Dirichlet分布的最大似然估计的情况下，没有证明以下内容： 与指数族一样，当梯度为零时，期望的足够统计量等于观察到的足够统计量。 我没有看到以这种方式呈现的指数族中的最大似然估计，也没有在搜索中找到任何合适的解释。有人可以提供对观察到的和预期的足够统计量之间的关系的洞察力，也许可以通过最大程度地减少差异来帮助理解最大似然估计？
1
ML指数分布的估计值（带有检查数据）
在生存分析中，假设rv的生存时间呈指数分布。现在考虑我有i_1 rv的 “结果” 。这些结果中只有一部分实际上是“完全实现”的，即其余观察结果仍然是“有效的”。XiXiX_ix1,…,xnx1,…,xnx_1,\dots,x_nXiXiX_i 如果我想对分布的速率参数进行ML估计，该如何以连贯/适当的方式利用未实现的观测值？我相信它们仍然包含有用的信息以供估算。λλ\lambda 有人可以指导我阅读有关该主题的文献吗？我确定它存在。但是，我很难找到适合该主题的关键字/搜索字词。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.