如何严格定义可能性？

可能性可以通过几种方式定义，例如：

功能 $L$ 从 $\Theta\times{\cal X}$ 其中映射 $(\theta,x)$ 到 $L(\theta \mid x)$ 即 $L:\Theta\times{\cal X} \rightarrow \mathbb{R}$ 。
随机函数 $L(\cdot \mid X)$
我们也可以认为，可能是只有“观察”的可能性 $L(\cdot \mid x^{\text{obs}})$
在实践中，似然性仅将关于信息 $\theta$ 带到一个乘性常数，因此我们可以将似然性视为函数的等价类，而不是函数

考虑参数化的变化时，会发生另一个问题是：如果 $\phi=\theta^2$ 是新的参数，我们通常表示由 $L(\phi \mid x)$ 上的可能性 $\phi$ 和这不是先前的功能的评价 $L(\cdot \mid x)$ 在 $\theta^2$ 但在 $\sqrt{\phi}$ 。这是一种滥用但有用的表示法，如果不加以强调，可能会给初学者造成困难。

您最喜欢的可能性的严格定义是什么？

另外你怎么骂 $L(\theta \mid x)$ ？我通常会说“ 观察时的可能性”之类的话。 $\theta$ $x$

编辑：鉴于下面的一些评论，我意识到我应该弄清楚上下文。我考虑一个参数的家庭给一个统计模型 $\{f(\cdot \mid \theta), \theta \in \Theta\}$ 密度相对于一些占主导地位的措施，每个 $f(\cdot \mid \theta)$ 对观测的空间定义 ${\cal X}$ 。因此我们定义 $L(\theta \mid x)=f(x \mid \theta)$ ，问题是“什么是 $L$ ？”（问题不是关于可能性的一般定义）

— 斯特凡·洛朗（StéphaneLaurent）
source

（1）由于

对于所有

，相信即使在恒定

定义。（2）如果您将诸如

和

类的参数视为仅仅是分布的流形的坐标，则参数化的更改没有内在的数学意义；这只是描述的改变。（3）以英语为母语会更自然地说：“可能性的

”，而不是“上。” （4）“何时观察

”子句存在哲学上的困难，因为大多数

\int L (θ | x) d x = 1

$\int L(\theta|x)dx = 1$

θ

$\theta$

L

$L$

ϕ

$\phi$

θ

$\theta$

θ

$\theta$

x

$x$

x

$x$ 永远不会被观察到。为什么不只说“ 给定

的

可能性”？

θ

$\theta$

x

$x$

— ub

@whuber：对于（1），我认为该常量没有明确定义。参见ET Jaynes的书，他在书中写道：“可能性不是概率，因为其归一化是任意的。”

— 尼尔·G

您可能会混淆两种标准化，Neil：Jaynes指的是通过

而不是

积分进行标准化。

θ

$\theta$

x

$x$

— ub

@whuber：我认为缩放因子对于Cramer-Rao边界并不重要，因为更改

会使对数似然性增加一个常数，然后在采用偏导数时消失。

k

$k$

— 尼尔·G

我同意尼尔，我看不出其中常数起作用的任何应用程序

— 斯特凡洛朗

Answers:

您的第三项是我见过最常用的严格定义。

其他人也很有趣（+1）。特别是第一种方法很有吸引力，因为难以（尚未）定义样本大小，因此很难定义“来源”集。

对我而言，可能性的基本直觉是它是模型及其参数的函数，而不是随机变量的函数（也是教学目的的重要点）。所以我会坚持第三个定义。

滥用符号的根源是可能性的“来源”集是隐式的，对于定义良好的函数通常不是这种情况。在这里，最严格的方法是要认识到，在转换之后，可能性与另一个模型有关。它等效于第一个模型，但仍然等效。因此，可能性符号应显示其所指的模型（按下标或其他形式）。我当然不会这么做，但是我可能会这样做。

最后，为了与我之前的答案一致，我在最后一个公式中说“ 可能性”。 $\theta$

— gui11aume
source

谢谢。对于等于乘数常数的相等性，您有什么建议？

— 斯特凡劳伦

我个人更喜欢在需要时调用它，而不是在定义中对其进行硬编码。并认为，对于模型选择/比较，这种“乘以常数”的等式不成立。

— gui11aume12年

好。关于名字，你能想象你对可能性讨论

和

两个候选条件的意见。在这种情况下，您会说“ 观察

时

的可能性”，还是“ 观察

时

的可能性”，或者其他？

L (θ ∣ x_{1})

$L(\theta\mid x_1)$

L (θ ∣ x_{2})

$L(\theta\mid x_2)$

θ

$\theta$

x_{1}

$x_1$

θ

$\theta$

x_{1}

$x_1$

— 斯特凡劳伦

如果重新参数化与模型

你实际上计算似然作为功能的组合物，

其中

。在这种情况下，

从

变为

因此可能性的定义集（称为“来自”集）不再相同。您可以调用第一个函数

ϕ = θ^{2}

$\phi = \theta^2$

L (. | x) \circ g (.)

$L(.|x) \circ g(.)$

g (y) = y^{2}

$g(y) = y^2$

g

$g$

R

$R$

R^{+}

$R^+$

L_{1} (. |)

$L_1(.|)$ 和第二个

因为它们的功能不相同。

L_{2} (. |)

$L_2(.|)$

— gui11aume12年

第三个定义如何严格？样本量未定义怎么办？既然我们说

，这自然带来了进入存在相应的西格玛代数样本空间

，我们为什么不能有可能性的并行定义是什么？

P (x_{1}, x_{2}, \dots, x_{n} ∣ θ)

$P(x_1, x_2, \dotsc, x_n \mid \theta)$

Ω^{n}

$\Omega^n$

— 尼尔G

我想我会称之为不同的东西。给定参数的值表示为给定的的函数，似然度是观测x的概率密度。我不同意比例常数。我认为这只是起作用，因为最大化似然性的任何单调函数都会为提供相同的解决方案。因此，对于或其他常用的单调函数，可以最大化。 $θ$ $θ$ $x$ $θ$ $cL(θ∣x)$ $c>0$ $\log(L(θ∣x))$

— 迈克尔·R·切尼克
source

不仅最大化：将先进的比例也进入在似然比概念的发挥，并在贝叶斯公式贝叶斯统计

— 斯特凡洛朗

我以为有人可能会否决我的答案。但是我认为以这种方式将似然性定义为确定的概率是很合理的，而不必将任何与之成比例的东西称为似然性。@StéphaneLaurent对您的关于先验的评论，如果函数是可集成的，则可以将其标准化为密度。后验与似然乘以先验成正比。由于后验必须通过除以整数来归一化，因此我们也可以指定先验为分布。仅从广义上讲，这适用于不适当的先验。

— Michael R. Chernick 2012年

我不太确定为什么有人会否决这个答案。看来您正在尝试对OP的第二个问题和第一个问题做出更多回应。也许其他读者并不完全清楚。干杯。:)

— 红衣主教2012年

@Michael我也不认为也需要对此答案投反对票。关于非信息性先验（这是另一次讨论），我打算就这一主题展开新的讨论。我不会很快做，因为我不太会英语，而且我写“哲学”比数学更难。

— 斯特凡劳伦

@Stephane：如果您愿意，请考虑直接用法语发布您的其他问题。这个网站上有几位讲法语的母语人士，可能会帮助您翻译不确定的文章。其中包括主持人，也是顶级英语统计期刊之一的编辑。我期待着这个问题。

— 主教

这是对严格的数学定义的尝试：

令是一个随机向量，上的某些度量允许密度，其中，是上关于的密度族。然后，对于任何一个我们将似然函数为；为清楚起见，每个，我们有。可以认为是一种特殊的潜力 $X: \Omega \to \mathbb R^n$ $f(x | \theta_0)$ $\nu$ $\mathbb R^n$ $\theta \in \Theta$ $\{f(x|\theta): \theta \in \Theta\}$ $\mathbb R^n$ $\nu$ $x \in \mathbb R^n$ $L(\theta | x)$ $f(x | \theta)$ $x$ $L_x : \Theta \to \mathbb R$ $x$ $x_{obs}$ 和是的“真”值。 $\theta_0$ $\theta$

关于此定义的一些观察：

该定义足够健壮，可以处理离散，连续和其他类型的分布族。 $X$
我们在密度函数的级别而不是在概率分布/度量的级别定义可能性。这样做的原因是，密度不是唯一的，事实证明，这不是一种情况可以传递到等效级别的密度并且仍然是安全的：在连续情况下，不同的密度选择会导致不同的MLE。但是，在大多数情况下，自然会选择理论上理想的密度族。
我喜欢这个定义，因为它包含我们正在使用到它，并通过设计，因为我们必须为它们分配一个分布的随机变量，我们也严格地建立在“真实但未知”值的概念，在这里表示为。对我来说，作为一名学生，对可能性进行严格的挑战始终是如何将“真实”和“已观测”的现实概念与数学相协调。讲师声称这些概念不是正式的，但随后常常转而在证明事实时正式使用它们，这通常是没有帮助的！因此，我们在此定义中正式处理它们。 $\theta$ $\theta_0$ $\theta$ $x_{obs}$
编辑：当然，我们可以自由地考虑通常的随机元素，和并且在此定义下，严格度没有实际问题只要您小心谨慎（或者即使您不小心，那么严格程度对您来说也不重要）。 $L(\theta | X)$ $S(\theta | X)$ $\mathcal I(\theta | X)$

— 家伙
source

@西安让在上是统一的。考虑两个密度与。无论和是有效的密度为，但在最大似然估计存在且等于而下我们有所以如果您设置，则最终的可能性为，实际上，MLE不存在，因为

X_{1}, . . ., X_{n}

$X_1, ..., X_n$

(0, θ)

$(0, \theta)$

f_{1} (x) = θ^{- 1} I [0 < x < θ]

$f_1 (x) = \theta^{-1} I[0 < x < \theta]$

f_{2} (x) = θ^{- 1} I [0 \leq x \leq θ]

$f_2 (x) = \theta^{-1} I[0 \le x \le \theta]$

f_{1}

$f_1$

f_{2}

$f_2$

U (0, θ)

$\mathcal U(0, \theta)$

f_{2}

$f_2$

max X_{i}

$\max X_i$

f_{1}

$f_1$

\prod_{j} f_{1} (x_{j} | max x_{i}) = 0

$\prod _j f_1 (x_j| \max x_i) = 0$

\hat{θ} = max X_{i}

$\hat \theta = \max X_i$

0

$0$

sup_{θ} \prod_{j} f_{1} (x | θ)

$\sup _\theta \prod _j f_1(x | \theta)$ 不能达到对任何。

θ

$\theta$

— 家伙

@guy：谢谢，我不知道这个有趣的反例。

— 西安

@guy你说中没有实现任何。但是，如下所示，在某个时候达到了这个最高点：其中。我假设对于所有，。很容易看出1. 如果 ; ; 2. 如果，则。继续...

sup_{θ} \prod_{j} f_{1} (x_{j} | θ)

$\sup_\theta \prod_j f_1(x_j| \theta)$

θ

$\theta$

L_{1} (θ; x) = \prod_{j = 1}^{n} f_{1} (x_{j} | θ) = θ^{- n} \prod_{j = 1}^{n} I (0 < x_{j} < θ) = θ^{- n} I (0 < M < θ),

$L_1(\theta;x) = \prod_{j=1}^n f_1(x_j|\theta) = \theta^{-n} \prod_{j=1}^n I\big(0 < x_j < \theta\big) = \theta^{-n}I\big(0< M < \theta\big),$

M = max {x_{1}, \dots, x_{n}}

$M = \max \{x_1, \ldots, x_n\}$

x_{j} > 0

$x_j > 0$

j = 1, \dots, n

$j=1,\ldots,n$

L_{1} (θ; x) = 0

$L_1(\theta;x) = 0$

0 < θ \leq M

$0<\theta \leq M$

L_{1} (θ; x) = θ^{- n}

$L_1(\theta;x) = \theta^{-n}$

M < θ < \infty

$M < \theta < \infty$

— Alexandre Patriota 2014年

@guy：继续...也就是说对于所有，。我们没有最大值，但确实存在最大值，它由，参数为也许，这里没有采用通常的渐近线，而应采用其他通行费。但是，的确实存在，或者我错过了一些非常基本的概念。

L_{1} (θ; x) \in [0, M^{- n}),

$L_1(\theta;x) \in \big[0,M^{-n}\big),$

θ \in (0, \infty)

$\theta \in (0,\infty)$

sup_{θ \in (0, \infty)} L_{1} (θ, x) = M^{- n}

$\sup_{\theta \in (0,\infty)} L_1(\theta, x) = M^{-n}$

M = \arg sup_{θ \in (0, \infty)} L_{1} (θ; x) .

$M = \arg\sup_{\theta \in (0,\infty)} L_1(\theta;x).$

L_{1} (θ; x)

$L_1(\theta;x)$

— 亚历山大·帕特里奥塔

@AlexandrePatriota显然存在，但功能无法实现。我不确定符号应该是什么意思-没有参数会产生因为。MLE定义为（通常）达到任何，而在这里没有达到。显然，有很多方法可以解决-我们呼吁人们要求渐近性必须具有某某某一种特性，并且确实存在。只是而不是。

\arg sup

$\arg \sup$

L_{1} (θ; x)

$L_1(\theta; x)$

sup

$\sup$

L_{1} (θ; M) = 0

$L_1(\theta; M) = 0$

\hat{θ}

$\hat \theta$

sup

$\sup$

\hat{θ}

$\hat \theta$

sup

$\sup$

L_{2}

$L_2$

L_{1}

$L_1$

— 2014年