为什么对一致估计量的定义是如此？一致性的其他定义呢？

引用维基百科：

在统计中，一致估计量或渐近一致估计量是一个估计量-一种计算参数的规则-具有以下性质：随着所使用的数据点的数量无限增加，所得到的估计序列在概率上收敛于。 $θ^*$ $θ^*$

为了使该语句更精确，让 $\theta^*$ 为您要估计的真实参数的值，并让 $\hat\theta(S_n)$ 为根据数据估算该参数的规则。然后，可以通过以下方式表达估计量一致性的定义：

lim_{n \to \infty} P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] = 0

$\lim_{n \to \infty} Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ]=0$

我的问题乍看之下似乎很肤浅，但它是：为什么用“一致性/一致性”一词来描述估算器的这种行为？

我之所以关心这一点，是因为从直觉上来说，一致性一词对我来说意味着不同的东西（或者至少对我来说似乎不同，也许可以证明它们是相等的）。让我通过一个例子告诉你这意味着什么。假设“您”始终是“好”（对于“好”的定义），则表示您每次有机会证明/向您证明自己是好时，您确实每次都向我证明自己是好人（或至少大部分时间）。

让我根据直觉来定义估计量的一致性。令“ you”为计算的函数，让“ good”表示您与真实估计值距离（在范式中，好，为什么不是）。那么对一致性的更好定义是： $\hat{\theta}$ $\theta^*$ $l_1$

\forall n, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\forall n,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

即使一致性的定义可能不太有用，但对我来说定义一致性的方式对我来说更有意义，因为对于您投入到估算器任何训练/样本集，我将能够做得好，即我会一直做得很好。我知道，对所有n执行此操作有点不切实际（可能是不可能的），但是我们可以通过以下方式修正此定义： $\hat\theta$

\exists n_{0}, \forall n \geq n_{0}, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\exists n_0, \forall n \geq n_0,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

也就是说，对于足够大的n，我们的估计量不会比真实差（即，与“真相”相距不超过）（试图捕获您至少需要的直觉）一些例子可以学习/估计任何东西，一旦达到这个数字，如果估计量与我们尝试定义它的方式保持一致，则估计量在大多数情况下都会做得很好。 $\epsilon$ $\epsilon$ $\theta^*$ $n_0$

但是，先前的定义太强了，也许我们可以让我们对于大小为大多数训练集远离可能性很小（即，对于所有都不需）或类似的分布）。因此，对于我们拥有的大多数样本/训练集，我们很少会出现高误差。 $\theta^*$ $n \geq n_0$ $S_n$ $S_n$

无论如何，我的问题是，这些提议的“一致性”定义实际上与一致性的“正式”定义相同，但是等效性很难证明吗？如果您知道证明，请分享！还是我的直觉完全不成立，是否有更深层的理由选择通常定义为的定义一致性？为什么（“官方”）一致性定义了它的方式？

我对某种等效性的候选证明的某些想法，或者我的一致性概念与公认的一致性概念之间的相似之处，可能是用限制的定义。但是，我不确定100％如何做到这一点，即使我尝试过，一致性的官方定义似乎也没有考虑到所有潜在的培训/样本集。既然我相信它们是等效的，那么我提供的官方定义是否完整（即，为什么它不讨论我们可能提供的数据集或可能生成样本集的所有不同数据集）？ $(\epsilon, \delta)-$

我最后的想法之一是，我们提供的任何定义也应该精确到要讨论的概率分布是还是。我认为，只要能保证，能保证按固定分配或对训练集的所有可能分配都应保证，候选人也应该是准确的。 $P_x$ $P_{S_n}$

machine-learning mathematical-statistics consistency

— 查理·帕克
source

（+1）创造性思维。感谢您与我们分享这一点。我相信我可以在这里提供一些想法作为答案。

— Alecos Papadopoulos

第一个定义用处不大，因为它要求所有估计量都高度准确。第二个没有意义，因为它试图通过多个量词控制单个逻辑变量。

n

$n$

— ub

考虑一下OP的第二个临时声明，该声明稍作修改，

\begin{matrix} (1) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ] < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n, \exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\P_n\big[|{\hat \theta(S_{n}}) - \theta^*|\geq \epsilon \big] < \delta \tag{1}$

我们正在检查实数序列 $[0,1]$

{P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ]}

$\big\{ P_n\big[|{\hat\theta(S_{n}}) - \theta^*|\geq \epsilon \big]\big\}$

由索引。如果此序列的极限为，则简单地称为，我们将得到 $n$ $n\rightarrow \infty$ $p$

\begin{matrix} (2) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, | P_{n} [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] - p | < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n,\,\exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\\Big| P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon \big] -p\Big|< \delta \tag{2}$

因此，如果我们假设（或要求），则本质上我们假设（或要求）存在极限，因为等于零，。 $(1)$ $n\rightarrow \infty$ $p=0$

因此读取“因为为 ”。这正是一致性的当前定义（是的，它涵盖了“所有可能的样本”） $(1)$ $P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon\big]$ $n\rightarrow \infty$ $0$

因此，看来OP实际上为估算器的完全相同的属性而不是不同的属性提出了一个替代表达式。

附录（忘记了历史部分）

柯尔莫哥洛夫（Kolmogorov）在他的“概率论基础”（1933）中的脚注中提到（概率收敛的概念）

“……是由于伯努利所致；它的全面处理是由EESlutsky提出的”。

（在1925年）。Slutsky的著作是德语的-甚至可能存在德语单词如何以英语（或伯努利使用的术语）如何翻译的问题。但是，不要试图将太多内容读入一个单词。

— 阿莱科斯·帕帕多普洛斯
source