需要算法来计算数据是从正态分布还是对数正态分布采样的相对可能性

假设您有一组值，并且想知道是从高斯（正态）分布中抽样还是从对数正态分布中抽样？

当然，理想情况下，您应该对总体或实验误差的来源有所了解，因此会有更多有用的信息来回答问题。但是在这里，假设我们只有一组数字而没有其他信息。哪个更有可能：是从高斯抽样还是从对数正态分布抽样？可能性更高？我希望的是在两个模型之间进行选择的算法，并希望量化每个模型的相对可能性。

normal-distribution lognormal

— 哈维·莫图尔斯基
source

尝试对自然界/已出版文献中的分布进行特征化描述可能是一个有趣的练习。再说一遍-它永远不会是一个有趣的练习。对于认真的治疗，您可以寻找一种理论证明您的选择是正确的，或者是给与足够的数据可视化并测试每种候选分布的拟合优度。

— JohnRos 2013年

如果要从经验中概括一下，我会说正偏分布是最常见的类型，尤其是对于那些具有中心意义的响应变量，对数正态分布比正态分布更常见。1962年的一卷科学家推测，由著名的统计学家IJ Good编辑，其中包括一个匿名文章“ Bloggins的工作规则”，其中包含断言“对数正态分布比正态更正态”。（其他几条规则都具有很强的统计意义。）

— Nick Cox

我对您的问题的理解似乎与JohnRos和anxoestevez不同。对我来说，您的问题听起来像是关于普通模型选择的问题，即计算，其中是正态分布或对数正态分布，而是您的数据。如果您不是要选择的型号，可以澄清一下吗？

P (M ∣ D)

$P(M \mid D)$

M

$M$

D

$D$

— 卢卡斯

@lucas我认为您的解释与我的没有太大不同。无论哪种情况，您都需要先验假设。

— anxoestevez

为什么不只计算广义似然比并在偏爱于对数正态时提醒用户？

— Scortchi-恢复莫妮卡

Answers:

您可以通过最大似然拟合每个分布（正态或对数正态）与数据，然后比较每个模型下的对数似然度来对分布类型做出最佳猜测-具有最高对数似然度的模型是最佳拟合。例如，在R中：

# log likelihood of the data given the parameters (par) for 
# a normal or lognormal distribution
logl <- function(par, x, lognorm=F) {
    if(par[2]<0) { return(-Inf) }
    ifelse(lognorm,
    sum(dlnorm(x,par[1],par[2],log=T)),
    sum(dnorm(x,par[1],par[2],log=T))
    )
}

# estimate parameters of distribution of x by ML 
ml <- function(par, x, ...) {
    optim(par, logl, control=list(fnscale=-1), x=x, ...)
}

# best guess for distribution-type
# use mean,sd of x for starting parameters in ML fit of normal
# use mean,sd of log(x) for starting parameters in ML fit of lognormal
# return name of distribution type with highest log ML
best <- function(x) {
    logl_norm <- ml(c(mean(x), sd(x)), x)$value
        logl_lognorm <- ml(c(mean(log(x)), sd(log(x))), x, lognorm=T)$value
    c("Normal","Lognormal")[which.max(c(logl_norm, logl_lognorm))]
}

现在从正态分布生成数字并通过ML拟合正态分布：

set.seed(1)
x = rnorm(100, 10, 2)
ml(c(10,2), x)

产生：

$par
[1] 10.218083  1.787379

$value
[1] -199.9697
...

比较对数可能性对正态分布和对数正态分布的ML拟合：

ml(c(10,2), x)$value # -199.9697
    ml(c(2,0.2), x, lognorm=T)$value # -203.1891
best(x) # Normal

尝试使用对数正态分布：

best(rlnorm(100, 2.6, 0.2)) # lognormal

取决于n，均值和标准差，分配将不是完美的：

> table(replicate(1000, best(rnorm(500, 10, 2))))

Lognormal    Normal 
        6       994 
> table(replicate(1000, best(rlnorm(500, 2.6, 0.2))))

Lognormal    Normal 
      999         1

— 硅片
source

您无需从数值上找到正态或对数正态的最大似然参数估计值（尽管它显示了如何将该思想推广到其他分布的比较中）。除此之外，这是非常明智的方法。

— Scortchi-恢复莫妮卡

我几乎没有使用R或最大似然的概念，所以这是一个基本问题。我知道我们无法从将正态分布拟合到数据与将数据拟合到数据日志中来比较AIC（或BIC），因为AIC或BIC无法比较。一个人需要将两个模型拟合到一组数据（不进行任何转换；不排除异常值等），并且对数据进行转换将改变AIC或BIC，而不会使比较伪造。ML呢？这个比较合法吗？

— Harvey Motulsky

我们找到最适合数据的正态分布和对数正态分布，然后假设它们来自那些分布（似然或p(X|\theta)），计算观察到数据的概率。我们不转换数据。我们打印出观测数据概率最高的分布。这种方法是合法的，但缺点是我们无法根据给定数据推断模型p(M|X)的概率，即数据来自正态分布与对数正态分布的概率（例如，p（正态）= 0.1，p（对数正态）= 0.9）与贝叶斯方法不同。

— 晶圆薄

@Harvey确实足够，但是无关紧要-您问过关于将正态分布与对数正态分布拟合到相同数据的问题，而这就是whannymahoots的回答。由于两个模型的可用参数数量相同，因此比较AIC或BIC减少了比较对数似然的可能性。

— Scortchi-恢复莫妮卡

@wannymahoots在这种情况下，贝叶斯方法的任何合理先验-依靠估计软件用户试图拟合正常或对数-正常数据的相对概率-都将变得毫无根据，以至于将给该方法带来类似的结果仅基于可能性。

— Scortchi-恢复莫妮卡

$M \in \{ \text{Normal}, \text{Log-normal} \}$ $X = \{ x_1, ..., x_N \}$

P (M ∣ X) \propto P (X ∣ M) P (M) .

$P(M \mid X) \propto P(X \mid M) P(M).$

困难的部分是获得边际可能性，

P (X ∣ M) = \int P (X ∣ θ, M) P (θ ∣ M) d θ .

$P(X \mid M) = \int P(X \mid \theta, M) P(\theta \mid M) \, d\theta.$

$p(\theta \mid M)$ $X$ $Y = \{ \log x_1, ..., \log x_N$ $Y$ $X$ ，

P (X ∣ M = Log-Normal) = P (Y ∣ M = Normal) \cdot \prod_{i} | \frac{1}{x_{i}} | .

$P(X \mid M = \text{Log-Normal}) = P(Y \mid M=\text{Normal}) \cdot \prod_i \left| \frac{1}{x_i} \right|.$

$P(\theta \mid M)$ $P(\sigma^2, \mu \mid M=\text{Normal})$ $P(M)$

例：

$P(\mu, \sigma^2 \mid M = \text{Normal})$ $m_0 = 0, v_0 = 20, a_0 = 1, b_0 = 100$

在此处输入图片说明

根据Murphy（2007）（等式203），正态分布的边际似然由

P (X ∣ M = Normal) = \frac{| v_{N} |^{\frac{1}{2}}}{| v_{0} |^{\frac{1}{2}}} \frac{b_{0}^{a_{0}}}{b_{n}^{a_{N}}} \frac{Γ (a_{N})}{Γ (a_{0})} \frac{1}{π^{N / 2} 2^{N}}

$P(X \mid M = \text{Normal}) = \frac{|v_N|^\frac{1}{2}}{|v_0|^\frac{1}{2}} \frac{b_0^{a_0}}{b_n^{a_N}} \frac{\Gamma(a_N)}{\Gamma(a_0)} \frac{1}{\pi^{N/2}2^N}$

$a_N, b_N,$ $v_N$ $P(\mu, \sigma^2 \mid X, M = \text{Normal})$

\begin{aligned} v_{N} & = 1 / (v_{0}^{- 1} + N), \\ m_{N} & = (v_{0}^{- 1} m_{0} + \sum_{i} x_{i}) / v_{N}, \\ a_{N} & = a_{0} + \frac{N}{2}, \\ b_{N} & = b_{0} + \frac{1}{2} (v_{0}^{- 1} m_{0}^{2} - v_{N}^{- 1} m_{N}^{2} + \sum_{i} x_{i}^{2}) . \end{aligned}

$\begin{align} v_N &= 1 / (v_0^{-1} + N), \\ m_N &= \left( v_0^{-1}m_0 + \sum_i x_i \right) / v_N, \\ a_N &= a_0 + \frac{N}{2}, \\ b_N &= b_0 + \frac{1}{2} \left( v_0^{-1}m_0^2 - v_N^{-1}m_N^2 + \sum_i x_i^2 \right). \end{align}$

对于对数正态分布，我使用相同的超参数，

P (X ∣ M = Log-normal) = P ({\log x_{1}, . . ., \log x_{N}} ∣ M = Normal) \cdot \prod_{i} | \frac{1}{x_{i}} | .

$P(X \mid M = \text{Log-normal}) = P(\{\log x_1, ..., \log x_N \} \mid M = \text{Normal}) \cdot \prod_i \left|\frac{1}{x_i}\right|.$

$0.1$ $P(M = \text{Log-normal}) = 0.1$

在此处输入图片说明

后部的行为是这样的：

在此处输入图片说明

$N$

在实施方程式时，最好使用对数密度而不是密度。但是否则应该很简单。这是我用来生成绘图的代码：

https://gist.github.com/lucastheis/6094631

— 卢卡斯
source

听起来您正在寻找一种实用的方法来帮助可能不是专业统计学家的分析人员，他们需要一些东西来促使他们进行应采用的标准探索性技术，例如查看qq图，密度图等。

在这种情况下，为什么不简单地对原始数据进行正态性检验（Shapiro-Wilk或其他方法），然后对对数转换后的数据进行正态性检验，如果第二个p值较高，则为分析人员考虑使用对数变换提出一个标志。？另外，还可以吐出原始数据和转换后数据的密度线图和qqnorm图的2 x 2图形。

从技术上讲，这不会回答您有关相对可能性的问题，但我想知道这是否就是您所需要的。

— 彼得·埃利斯
source

聪明。也许这就足够了，并且无需解释似然计算....谢谢。

— Harvey Motulsky