β随机变量的反正态CDF遵循什么分布？

14

假设您定义：

X \sim Beta (α, β)

$X\sim\mbox{Beta}(\alpha,\beta)$

Y \sim Φ^{- 1} (X)

$Y\sim \Phi^{-1}(X)$

其中 $\Phi^{-1}$ 是的逆标准正态分布的CDF。

我的问题是：遵循简单分布，或者可以近似于？ $Y$ $Y$ 我问，因为我有一个基于模拟结果强烈怀疑（如下图所示），其 $Y$ 收敛为正态分布时， $\alpha$ 和 $\beta$ 都很高，但我不知道为什么它会数学。（当然，当 $\alpha=1;\beta=1$ ， $X$ 将是均匀的，而 $Y$ 将是标准法线，但是为什么对于更高的值会成立呢？）

如果确实收敛到法线，那么就 $\alpha$ 和而言，该法线的参数是什么 $\beta$ ？（我预计平均将 $\Phi^{-1}(\frac{\alpha}{\alpha+\beta})$ 因为那是模式的变换，但我不知道标准差）。

（换句话说，这可能会问“ 对于和某个方向， $\Phi(\mbox{Norm}(\mu, \sigma))$ 收敛到beta分布吗？”我不确定这是否更容易回答）。 $\mu$ $\sigma$

仿真结果

在这里，我展示了为什么我怀疑结果是正常的（因为我无法用数学来支持它）。可以使用和在R中完成模拟。例如，选择较高的参数和： $Y$ qnormrnorm $\alpha=3000$ $\beta=7000$

hist(qnorm(rbeta(5000, 3000, 7000)))

这看起来很正常，qqnorm与夏皮罗-威尔克测试（其中正常是零假设），建议左右为好：

qqnorm(qnorm(rbeta(5000, 3000, 7000)))

shapiro.test(qnorm(rbeta(5000, 3000, 7000)))
#> 
#>  Shapiro-Wilk normality test
#> 
#> data:  qnorm(rbeta(5000, 3000, 7000))
#> W = 0.99954, p-value = 0.2838

为了更深入地探讨正态性，我执行了2,000次仿真，每次都模拟 5,000个值，然后执行测试以将其与正常值进行比较。（我选择5K值是因为这是可以处理的最大值，并且可以最大程度地检测出偏离规范的能力）。 $Y$ shapiro.test

如果分布确实是正态分布，我们将期望p值是均匀的（因为null为true）。它们确实接近均匀，表明分布非常接近正态：

hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 3000, 7000)))$p.value))

一些实验表明，和越高，分布越接近于正态分布（例如，离正态分布很远，但是尝试一下，它似乎介于两者之间）。 $\alpha$ $\beta$ rbeta(5000, 3, 7)hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 30, 70)))$p.value))

r normal-distribution mathematical-statistics beta-distribution

— 戴维·罗宾逊
source

2

这里没有任何有趣的事情。当

和

变大时，我们假设它们保持相同的比例，或者至少

远离

和

。然后，Beta

分布变为正态并集中在任意狭窄的范围内。

，为微，成为基本上是线性的，从那里你只是在寻找一个接近正常变量的线性变换。这个结果无非是用做

α

$\alpha$

β

$\beta$

α / (α + β)

$\alpha/(\alpha+\beta)$

0

$0$

1

$1$

(α, β)

$(\alpha,\beta)$

Φ^{- 1}

$\Phi^{-1}$

Φ^{- 1}

$\Phi^{-1}$ 本身，不添加有关Beta分布的信息。

— Whuber

1

@whuber这对于较大的

和

是有意义的（我进行了一些模拟，使我认为这比近似于beta的等效法线更接近于法线，但是重新运行时，我认为我当时有一个错误）。关于

任何想法;

？Dist与正常值相差很远，但是它的qnorm非常接近。

α

$\alpha$

β

$\beta$

α = 2

$\alpha=2$

β = 2

$\beta=2$

— 大卫·罗宾逊

1

@whuber例如尝试hist(replicate(1000, shapiro.test(rbeta(5000, 2, 2))$p.value))，然后hist(replicate(1000, shapiro.test(qnorm(rbeta(5000, 2, 2)))$p.value))。换句话说，当

这是正常的，因为贝塔是均匀的；当

和

高时，这是因为贝塔是大致正常的；但是为什么当它们相等且介于两者之间时，它却能工作？正常还是不统一？

α = β = 1

$\alpha=\beta=1$

α

$\alpha$

β

$\beta$

— 大卫·罗宾逊

5

绝对更有趣！您是正确的，尽管Beta的参数很小，但Beta并非非常接近Normal，但变换近似于Normal。与正态性的偏差在尾部变得明显，大约

或更大，但在整个分布主体中都非常小。最终，这可以追溯到Beta尾部的幂律行为。

Z = \pm 3

$Z=\pm 3$

— Whuber

7

概要

您已重新发现样本中位数的中心极限定理中描述的结构的一部分，该原理说明了样本中位数的分析。（该分析显然比照适用于所有分位数，而不仅仅是中位数）。因此，对于较大的Beta参数（对应于较大的样本），在问题中描述的变换下会出现正态分布也就不足为奇了。有趣的是，即使对于较小的 Beta参数，分布也接近于正态分布。 值得解释。

我将在下面进行分析。为了使这篇文章保持适当的长度，它涉及很多建议性的挥手：我只是想指出关键思想。因此，让我在这里总结一下结果：

当接近，一切都是对称的。这使转换后的分布看起来已经很正常。 $\alpha$ $\beta$
形式的功能看在第一位置相当正常，即使对于小的值和（提供均超过和它们的比率是不太接近或）。 $\Phi^{\alpha-1}(x)\left(1-\Phi(x)\right)^{\beta-1}$ $\alpha$ $\beta$ $1$ $0$ $1$
变换后的分布的表观正态性是由于以下事实：其密度包括正态密度乘以（2）中的函数。
随着和增加，可以从对数密度的泰勒级数的余项中测量出偏离正态性。的顺序的术语正比于下降的幂和。这意味着最终，对于足够大的和，所有幂或更大的项都变得相对较小，仅剩下二次方：这恰好是正态分布的对数密度。 $\alpha$ $\beta$ $n$ $(n-2)/2$ $\alpha$ $\beta$ $\alpha$ $\beta$ $n=3$

总的来说，这些行为很好地解释了为什么即使对于较小的和同构正态样本的非极端分位数也看起来近似于正态。 $\alpha$ $\beta$

分析

尽管可以将记为，但由于将其归纳是有用的，因此使为任意分布函数。 $F$ $F=\Phi$

根据定义，Beta 变量的密度函数与 $g(y)$ $(\alpha,\beta)$

y^{α - 1} (1 - y)^{β - 1} d y .

$y^{\alpha-1}(1-y)^{\beta-1}dy.$

让是概率积分变换的和写入的衍生物的，它是直接的是的密度成比例 $y=F(x)$ $x$ $f$ $F$ $x$

G (x; α, β) = F (x)^{α - 1} (1 - F (x))^{β - 1} f (x) d x .

$G(x;\alpha,\beta)=F(x)^{\alpha-1}(1-F(x))^{\beta-1}f(x)dx.$

因为这是强单峰分布（β）的单调变换，所以除非非常奇怪，否则变换后的分布也将是单峰的。要研究其与法线的接近程度，让我们检查其密度的对数， $F$

\begin{matrix} (1) & \log G (x; α, β) = (α - 1) \log F (x) + (β - 1) \log (1 - F (x)) + \log f (x) + C \end{matrix}

$\log G(x;\alpha,\beta) = (\alpha-1)\log F(x) + (\beta-1)\log(1-F(x)) + \log f(x) + C\tag{1}$

其中是不相关的归一化常数。 $C$

展开泰勒级数中的的分量，以围绕值（将接近于模式）将3排序。例如，我们可以将的扩展写为 $\log G(x;\alpha,\beta)$ $x_0$ $\log F$

\log F (x) = c_{0}^{F} + c_{1}^{F} (x - x_{0}) + c_{2}^{F} (x - x_{0})^{2} + c_{3}^{F} h^{3}

$\log F(x) = c^{F}_0 + c^{F}_1 (x-x_0) + c^{F}_2(x-x_0)^2 + c^{F}_3h^3$

对于一些与。对和使用类似的表示法。 $h$ $|h| \le |x-x_0|$ $\log(1-F)$ $\log f$

线性项

因此，的线性项变为 $(1)$

g_{1} (α, β) = (α - 1) c_{1}^{F} + (β - 1) c_{1}^{1 - F} + c_{1}^{f} .

$g_1(\alpha,\beta) = (\alpha-1)c^{F}_1 + (\beta-1)c^{1-F}_1 + c^{f}_1.$

当为 $x_0$ ，该表达式为零。注意，因为系数是连续函数，所以随着和的变化，模式也将连续变化。而且，一旦和足够大，则项变得相对无关紧要。如果我们的目标是研究极限和针对在不断的比例停留 $G(\,;\alpha,\beta)$ $x_0$ $\alpha$ $\beta$ $x_0$ $\alpha$ $\beta$ $c^{f}_1$ $\alpha\to\infty$ $\beta\to\infty$ $\alpha:\beta$ $\gamma$ ，我们可能因此一劳永逸选择一个基准点的这 $x_0$

γ c_{1}^{F} + c_{1}^{1 - F} = 0.

$\gamma c^{F}_1 + c^{1-F}_1 = 0.$

一个很好的情况是，其中，大约对称于。在这种情况下，很明显。 $\gamma=1$ $\alpha=\beta$ $F$ $0$ $x_0=F(0)=1/2$

我们已经实现了一种方法，其中（a）在极限中，泰勒级数的一阶项消失，并且（b）在刚刚描述的特殊情况下，一阶项始终为零。

二次项

这些是总和

g_{2} (α, β) = (α - 1) c_{2}^{F} + (β - 1) c_{2}^{1 - F} + c_{2}^{f} .

$g_2(\alpha,\beta) = (\alpha-1)c^{F}_2 + (\beta-1)c^{1-F}_2 + c^{f}_2.$

相对于一个正态分布，其二次项是，我们可以估计是近似的方差。让我们通过按的平方根缩放比例来标准化我们真的不需要细节；足以理解此重新缩放将乘以 $-(1/2)(x-x_0)^2/\sigma^2$ $-1/(2g_2(\alpha,\beta))$ $G$ $G$ $x$ 在由泰勒展开 $(x-x_0)^n$ $(-1/(2g_2(\alpha,\beta)))^{n/2}.$

剩余期限

重点是：根据我们的记号，泰勒展开式中的阶数项是 $n$

g_{n} (α, β) = (α - 1) c_{n}^{F} + (β - 1) c_{n}^{1 - F} + c_{n}^{f} .

$g_n(\alpha,\beta) = (\alpha-1)c^{F}_n + (\beta-1)c^{1-F}_n + c^{f}_n.$

标准化后，变为

g_{n}^{'} (α, β) = \frac{g_{n} (α, β)}{(- 2 g_{2} (α, β))^{n / 2})} .

$g_n^\prime(\alpha,\beta) = \frac{g_n(\alpha,\beta)}{(-2g_2(\alpha,\beta))^{n/2})}.$

两个都是和仿射组合。通过将分母提高到次方，净行为在和的阶数均为。随着这些参数变大，第二个泰勒展开式中的每个项在第二个之后渐近减小为零。 特别地，三阶余项变得任意小。 $g_i$ $\alpha$ $\beta$ $n/2$ $-(n-2)/2$ $\alpha$ $\beta$

当案件是正常的 $F$

当为标准正态时，余项的消失特别快，因为在这种情况下，纯粹是二次的：它对余项没有任何贡献。因此，偏差从常态仅取决于之间的偏差和正常性。 $F$ $f(x)$ $G$ $F^{\alpha-1}(1-F)^{\beta-1}$

This deviation is fairly small even for small $\alpha$ and $\beta$ . To illustrate, consider the case $\alpha=\beta$ . $G$ is symmetric, whence the order-3 term vanishes altogether. The remainder is of order $4$ in $x-x_0=x$ .

Here is a plot showing how the standardized fourth order term changes with small values of $\alpha \gt 1$ :

The value starts out at $0$ for $\alpha=\beta=1$ , because then the distribution obviously is Normal ( $\Phi^{-1}$ applied to a uniform distribution, which is what Beta $(1,1)$ is, gives a standard Normal distribution). Although it increases rapidly, it tops off at less than $0.008$ --which is practically indistinguishable from zero. After that the asymptotic reciprocal decay kicks in, making the distribution ever closer to Normal as $\alpha$ increases beyond $2$ .

— whuber
source

2

Convergence

Suppose that $\alpha = \beta$ and let $\alpha \to \infty$ and take any small $\varepsilon > 0$ . Then $var(X) \to 0$ . By Chebyshev's inequality we have $\mathbb{P} [\vert X - 0.5 \vert > \varepsilon] \to 0$ and $\mathbb{P} [\vert Y \vert > \varepsilon] \to 0$ . This means that $Y$ converges in probability (~~not in distribution~~ actually it converges in distribution - to singleton).

Exact distribution

Denote by $f_X$ the density of beta distribution. Then your variable $Y$ has density

f_{Y} (y) = f_{X} (Φ (y)) ϕ (y) .

$f_Y (y) = f_X ( \Phi (y) ) \phi (y).$ Since

Φ

$\Phi$ does not have a closed form I believe that this is the furthest you can get (analytically). You can try to put it into FullSimplify function in Wolfram Mathematica to see if it finds some better form.

Here is the density in R so you can plot it instead of histogram.

f_y <- function(x, alpha, beta) {
  dbeta(pnorm(x), alpha, beta) * dnorm(x)
}

Modification

However, you are maybe interested in distribution of

Z = Φ^{- 1} (\sqrt{α} X)

$Z = \Phi^{-1} (\sqrt{\alpha} X)$ . (still assuming

α = β

$\alpha = \beta$ ) This may be useful because

v a r (\sqrt{α} X) \to 1 / 8

$var(\sqrt{\alpha} X) \to 1/8$ (useful because it is not zero).

— Jan Kislinger
source

1

Here I present a heuristic explanation (which can be made rigorous at least asymptotically). For simplicity, take $k \in \mathbb N$ , $k \geq 2$ . Let $X \sim \text{Beta}(k,k)$ . I want to argue that $Y = \Phi^{-1}(X)$ is approximately normal.

Now let $n=2k-1$ . We start by drawing $n$ i.i.d. uniformly distributed random variables $U_1, \dotsc, U_n$ . Next, form the order statistics $U_{(1)} \leq \dotsc \leq U_{(n)}$ .

It is well known that $U_{(k)} \sim \text{Beta}(k, n+1-k)$ , thus:

U_{(k)} \sim Beta (k, k)

$U_{(k)} \sim \text{Beta}(k, k)$

In other words: The sample median of $n$ i.i.d. uniformly distributed random variables is $\text{Beta}(k,k)$ distributed.

Now let's transform by $Z_i = \Phi^{-1}(U_i)$ . Then by the probability integral transform, the $Z_i$ are i.i.d. normally distributed. Also form the order statistics of the $Z_i$ ( $Z_{(1)} \leq \dotsc \leq Z_{(n)}$ ). Since $\Phi^{-1}$ is strictly increasing, it follows that:

Φ^{- 1} (U_{(k)}) = Z_{(k)}

$\Phi^{-1}(U_{(k)}) = Z_{(k)}$

Therefore, to show that $Y$ is approximately normal, we just have to argue that the sample median of $n$ i.i.d. normal random variables is approximately normal.

For $k$ large, this can be made precise by a central limit theorem for sample medians. For $k$ small, say $k=2$ , I will let everyone's gut feeling do the speaking.

For $a \neq b$ (but not too different) one can argue similarly by using corresponding quantiles.

— air
source

β随机变量的反正态CDF遵循什么分布？

仿真结果

概要

分析

线性项

二次项

剩余期限

当案件是正常的FFF

Convergence

Exact distribution

Modification

当案件是正常的 $F$