哪些分布具有最大似然估计的封闭式解决方案？

哪些分布具有封闭形式的解，可以根据独立观测的样本对参数的最大似然估计？

在不造成任何一般性损失的情况下，我们可以假设任何观察值（在观察值中）的概率密度（或质量）严格为正，使我们可以将其写为指数形式x i$f(x_i)$$x_i$$n$

$$f(x_i) = \exp{(g(x_i,\theta))}$$

对于参数向量$\theta = (\theta_j)$。

将对数似然函数的梯度等于零（这将找到似然的固定点，如果存在，则其中将是所有内部全局最大值），给出了一系列形式的方程

$$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$$

每个。为了使其中任何一个都有现成的解决方案，我们希望能够将项与项分开。（一切均源于此关键思想，受数学懒惰原则的驱使：尽可能少地工作；在计算之前先思考；首先解决难题的简单版本。）最通用的方法是使方程式生效表格X 我 θ$j$$x_i$$\theta$

$$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$$

对于已知函数，和，则通过求解联立方程获得解τ Ĵ α $\eta_j$$\tau_j$$\alpha_j$

$$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$$

对于。通常，这些很难解决，但是只要可以提供有关完整信息，我们可以只需使用此向量代替本身即可（从而在某种程度上推广了“封闭形式”解决方案的思想，但效率很高）。在这种情况下，对产生（Ñ α Ĵ（θ $\theta$θθθ$\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$$\theta$ $\theta$$\theta_j$

$$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$$

（其中代表所有组件，除了之外）。由于左侧在功能上独立于，对于某些固定函数，我们必须具有；即不能依赖于可言; 和是某些函数的导数，而是某些其他函数导数，它们在功能上均与数据无关。何处$\theta_j'$$\theta$$\theta_j$$\theta_j$$\tau_j(x)=T(x)$$T$$B$$\theta$$\eta_j$$H(\theta)$$\alpha_j$$A(\theta)$

$$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$$

可以这种形式写的密度构成了众所周知的Koopman-Pitman-Darmois或指数族。它包含重要的参数族，包括连续的和离散的，包括伽玛，法线，卡方，泊松，多项式等。

我不知道是否可以全部列出。想到指数，正态和二项式，它们都属于指数族。指数族在指数中具有其足够的统计量，并且mle通常是该足够统计量的良好函数。