具有3个结果的随机变量的Chernoff型不等式

假设我们有一个随机变量，该变量采用非数字值a，b，c，并希望量化 $n$此变量的样本偏离真实分布。在这种情况下，以下不等式（来自Cover和Thomas）适用。

定理12.4.1（萨诺夫定理）： $X_1, X_2, \ldots, X_n$ 闲逛 $\sim Q(x)$。
让$E \subseteq \mathscr{P}$是一组概率分布。然后

$$Q^n(E) = Q^n(E \cap \mathscr{P}_n) \leq (n+1)^{|\mathcal{X}|}2^{-nD(P^*||Q)},$$ 哪里 $$P^* = \arg\min_{P \in E} D(P||Q),$$ 是相对熵中最接近中的分布。$E$$Q$

对于小这个不等式相当宽松。对于二进制结果，，并且Chernoff-Hoeffding边界要严格得多。$n$$|\mathcal{X}|=2$

是否有类似的严格限制？$|\mathcal{X}|=3$

您可以通过考虑随机变量来获得相当好的边界，如果则为1 ，否则为0（对于在试验范围内为和在类别范围内为）。对于任何固定的，是独立的，因此可以使用Chernoff边界进行分析。然后对约束。$Y_{ij}$$X_i = j$$1 \le i \le n$$1 \le j \le 3$$j$$Y_{ij}$$\sum_i Y_{ij}$$j$

如果以上还不够，我建议您看一下球形模型，例如Upfal和Mitzenmacher的教科书中的模型。该模型与您的模型相同，只不过您的某些垃圾箱比其他垃圾箱更有可能将球降落在其中，对吗？该模型中有一些涉及泊松近似的更复杂的技术，可能会扩展到具有非均匀bin概率的设置。

关于Chernoff Hoeffding边界，没有什么是布尔变量所特有的。如果是具有 iid实值随机变量，则可以应用Chernoff边界。一个很好的参考是“用于随机算法分析的度量集中度”（http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.120.2561&rep=rep1&type=pdf）$X_1,\ldots,X_n$$0 \leq X_i \leq 1$