MLE是否需要iid数据？还是只是独立的参数？

使用最大似然估计（MLE）估计参数涉及评估似然函数，该函数将样本（X）出现的概率映射为给定分布族（P（X = x |θ ）超过θ的可能值（请注意：我对吗？）我看到的所有示例都涉及通过取F（X）的乘积来计算P（X = x |θ），其中F是局部分布θ和X的值是样本（向量）。

由于我们只是在乘以数据，因此数据是否独立？例如，我们不能使用MLE拟合时间序列数据吗？还是参数必须独立？

似然函数定义为事件$E$（数据集${\bf x}$）作为模型参数θ的函数的概率$\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

因此，没有假设观察的独立性。在经典方法中，没有定义参数的独立性，因为它们不是随机变量。一些相关的概念可能是可识别性，参数正交性和最大似然估计器的独立性（它们是随机变量）。

一些例子，

（1）。离散案例。是（独立的）离散的观察与样品P（观察  X Ĵ ; θ ）> 0，则${\bf x}=(x_1,...,x_n)$${\mathbb P}(\text{observing } x_j ; \theta)>0$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

特别是，如果，具有Ñ已知的，我们有$x_j\sim \text{Binomial}(N,\theta)$$N$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

（2）。连续逼近。让是由连续的随机变量的样本X，与分配˚F和密度˚F，具有测量误差ε，这是，你观察集（X Ĵ - ε ，X j + ϵ ）。然后${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

当小时，可以通过以下方式近似（使用均值定理）$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

对于与正常情况下的例子，来看看这个。

（3）。相依和马尔可夫模型。假设是一组可能的依赖性和让观测˚F是联合密度X，然后${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

如果另外满足Markov属性，则

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

也看看这个。

（+1）很好的问题。

次要方面，MLE表示最大似然估计（不是倍数），这意味着您只是使似然最大化。这并不表示必须通过IID采样来产生可能性。

如果可以在统计模型中写出抽样的依存关系，则只需相应地写出可能性，然后像往常一样将其最大化。

当您不假设依赖关系时，值得一提的是多元高斯抽样（例如在时间序列分析中）。两个高斯变量之间的依存关系可以通过它们的协方差项来建模，您可以在概率上不相称。

举一个简单的例子，假设您从均值和方差相同的相关高斯变量中提取了大小为的样本。您将可能性写为$2$

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

其中是$z$

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

This is not the product of the individual likelihoods. Still, you would maximize this with parameters $(\mu, \sigma, \rho)$ to get their MLE.

Of course, Gaussian ARMA models possess a likelihood, as their covariance function can be derived explicitly. This is basically an extension of gui11ame's answer to more than 2 observations. Minimal googling produces papers like this one where the likelihood is given in the general form.

Another, to an extent, more intriguing, class of examples is given by multilevel random effect models. If you have data of the form

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ where indices $j$ are nested in $i$ (think of students $j$ in classrooms $i$, say, for a classic application of multilevel models), then, assuming $\epsilon_{ij} \perp u_i$, the likelihood is $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ and is a sum over the likelihood contributions defined at the level of clusters, not individual observations. (Of course, in the Gaussian case, you can push the integrals around to produce an analytic ANOVA-like solution. However, if you have say a logit model for your response $y_{ij}$, then there is no way out of numerical integration.)