2
具有3个结果的随机变量的Chernoff型不等式
假设我们有一个随机变量,该变量采用非数字值a,b,c,并希望量化 nnn此变量的样本偏离真实分布。在这种情况下,以下不等式(来自Cover和Thomas)适用。 定理12.4.1(萨诺夫定理): X1,X2,…,XnX1,X2,…,XnX_1, X_2, \ldots, X_n 闲逛 ∼Q(x)∼Q(x)\sim Q(x)。 让E⊆PE⊆PE \subseteq \mathscr{P}是一组概率分布。然后 Qn(E)=Qn(E∩Pn)≤(n+1)|X|2−nD(P∗||Q),Qn(E)=Qn(E∩Pn)≤(n+1)|X|2−nD(P∗||Q),Q^n(E) = Q^n(E \cap \mathscr{P}_n) \leq (n+1)^{|\mathcal{X}|}2^{-nD(P^*||Q)}, 哪里 P∗=argminP∈ED(P||Q),P∗=argminP∈ED(P||Q),P^* = \arg\min_{P \in E} D(P||Q), 是相对熵中最接近中的分布。EEEQQQ 对于小这个不等式相当宽松。对于二进制结果,,并且Chernoff-Hoeffding边界要严格得多。nnn|X|=2|X|=2|\mathcal{X}|=2 是否有类似的严格限制?|X|=3|X|=3|\mathcal{X}|=3