子集上的分布？

我想知道整数子集上是否有任何标准分布。等效地，我们可以将其表示为二进制结果的长度向量上的分布，例如，如果则对应于向量。$\{1, 2, ..., J\}$$J$$J = 5$$\{1, 3, 5\}$$(1, 0, 1, 0, 1)$

理想情况下，我要寻找的是分布，它来自以有限维参数索引的族，该分布将以这样的方式分布其质量，即两个二元向量和具有相似的它们“靠近”在一起的概率，即和具有相似的概率。确实，我希望能做的是在上放置一个先验值，这样，如果我知道相当大，则相对于远离向量可能很大。$\nu_\theta (\cdot)$$\theta$$r_1$$r_2$$r_1 = (0, 0, 1, 0, 1)$$r_2 = (0, 0, 1, 1, 1)$$\theta$$\nu_\theta (r_1)$$\nu_\theta (r_2)$$r_1$

我想到的一种策略是在上放置度量或其他色散度量，然后取或类似的东西。一个明确的例子是与正态分布类似。很好，但是我希望有一些标准的并且适合贝叶斯分析的方法。我不能写下标准化常数。$d_\theta$$\{0, 1\}^J$$\nu_\theta (r) \propto \exp (-d_\theta (r, \mu))$$\exp\left\{-\|r - \mu\|^2 / (2 \sigma^2)\right\}$

您可能更喜欢基于汉明距离的位置族，因为它们的丰富性，灵活性和可计算性。

---

符号和定义

回想一下，在具有基的自由有限维模块，两个向量之间的汉明距离和为多少地方这里。$V$$\left(\mathbf{e}_1, \mathbf{e}_2, \ldots, \mathbf{e}_J\right)$ $\delta_H$$\mathbf{v}=v_1 \mathbf{e}_1 + \cdots + v_J\mathbf{e}_J$$\mathbf{w}=w_1 \mathbf{e}_1 + \cdots + w_J\mathbf{e}_J$$i$$v_i \ne w_i$

给定任何原点，汉明距离将划分为球面，，其中。当接地环具有元素时，具有元素，而具有元素。（这是从观察到元素与恰好在第地方不同之后得出的-其中有$\mathbf{v}_0\in V$$V$$S_i(\mathbf{v}_0)$$i=0, 1, \ldots, J$$S_i(\mathbf{v}_0) = \{\mathbf{w}\in V\ |\ \delta_H(\mathbf{w}, \mathbf{v}_0) = i\}$$n$$V$$n^J$$S_i(\mathbf{v})$$\binom{J}{i}\left(n-1\right)^i$$S_i(\mathbf{v})$$\mathbf{v}$$i$$\binom{J}{i}$可能性- 每个地方都有个值的选择。）$n-1$

仿射翻译自然会根据其分布来分配位置族。具体地，当是在任何分配（这意味着很少超过，所有，和）和是任意元素，则也是分布哪里$V$$f$$V$$f:V\to [0,1]$$f(\mathbf{v})\ge 0$$\mathbf{v} \in V$$\sum_{\mathbf{v}\in V}f(\mathbf{v})=1$$\mathbf{w}$$V$$f^{(\mathbf{w})}$

$$f^{(\mathbf{w})}(\mathbf{v}) = f(\mathbf{v}-\mathbf{w})$$

对于所有。一个地点家庭分布是这样的作用下不变：意味着所有。$\mathbf{v}\in V$ $\Omega$$f\in \Omega$$f^{(\mathbf{v})}\in \Omega$$\mathbf{v}\in V$

施工

这使我们能够通过在一个固定向量指定其形状来定义潜在有趣且有用的分布族，为方便起见，我将其设为，并在的作用下转换这些“生成分布” 以获得完整族。为了获得在附近点应具有可比值的所需属性，只需要求所有生成分布的属性即可。$\mathbf{v}$$\mathbf{0} = (0,0,\ldots,0)$$V$$\Omega$$f$

为了了解其工作原理，让我们构造所有分布的位置族，这些分布随距离的增加而减小。因为只有汉明距离是可能的，所以请考虑非负实数 =任何递减序列。组$J+1$$\mathbf{a}$$0 \ne a_0 \ge a_1 \ge \cdots \ge a_J \ge 0$

$$A = \sum_{i=0}^J (n-1)^i\binom{J}{i} a_i$$

和定义该函数通过$f_\mathbf{a}:V\to [0,1]$

$$f_\mathbf{a}(\mathbf{v}) = \frac{a_{\delta_H(\mathbf{0},\mathbf{v})}}{A}.$$

然后，可以直接检查的是，是上的分布。此外，当且仅当为的正数倍时，（作为向量））。因此，如果愿意，我们可以将标准化为。$f_\mathbf{a}$$V$$f_\mathbf{a} = f_{\mathbf{a}'}$$\mathbf{a}'$$\mathbf{a}$$\mathbb{R}^{J+1}$$\mathbf{a}$$a_0=1$

因此，此构造为所有随汉明距离减小的位置不变分布提供了明确的参数化：对于某些序列任何此类分布的形式均为和某些向量。$f_\mathbf{a}^{(\mathbf{v})}$$\mathbf{a} = 1 \ge a_1 \ge a_2 \ge \cdots \ge a_J \ge 0$$\mathbf{v}\in V$

该参数化可以方便地指定先验：将它们分解为位置的先验和形状的先验。（当然，可以考虑一组更大的先验条件，这些先验条件是位置和形状而不是独立的，但这将是一项更为复杂的工作。）$\mathbf{v}$$\mathbf{a}$

产生随机值

从进行采样的一种方法 是分阶段进行，将其分解为球面半径上的分布，并将每个球面上的条件作为另一分布：$f_\mathbf{a}^{(\mathbf{v})}$

1. 从概率给出的上的离散分布绘制索引，其中的定义如前。$i$$\{0,1,\ldots,J\}$$\binom{J}{i}(n-1)^i a_i / A$$A$

2. 索引对应于向量集，恰好在地方与不同。因此，从可能的子集中选择放置的位置，并赋予每个相等的概率。（这仅仅是一个样品的下标出来无需更换。）我们的这个子集的地方写。$i$$\mathbf{v}$$i$$i$$\binom{J}{i}$$i$$J$ $i$$I$

3. 通过为所有独立地从不等于的标量统一选择一个值来绘制元素，否则设置。等效地，当时，从非零标量中均匀随机选择，否则设置，从而创建向量。设置。$\mathbf{w}$$w_j$$v_j$$j\in I$$w_j=v_j$$\mathbf{u}$$u_j$$j\in I$$u_j=0$$\mathbf{w} = \mathbf{v} + \mathbf{u}$

在二进制情况下，不需要步骤3。

---

例

这是一个R实现示例。

rHamming <- function(N=1, a=c(1,1,1), n=2, origin) {
  # Draw N random values from the distribution f_a^v where the ground ring
  # is {0,1,...,n-1} mod n and the vector space has dimension j = length(a)-1.
  j <- length(a) - 1
  if(missing(origin)) origin <- rep(0, j)

  # Draw radii `i` from the marginal distribution of the spherical radii.
  f <- sapply(0:j, function(i) (n-1)^i * choose(j,i) * a[i+1])
  i <- sample(0:j, N, replace=TRUE, prob=f)

  # Helper function: select nonzero elements of 1:(n-1) in exactly i places.
  h <- function(i) {
    x <- c(sample(1:(n-1), i, replace=TRUE), rep(0, j-i))
    sample(x, j, replace=FALSE)
  }

  # Draw elements from the conditional distribution over the spheres
  # and translate them by the origin.
  (sapply(i, h) + origin) %% n
}

作为其用法的示例：

test <- rHamming(10^4, 2^(11:1), origin=rep(1,10))
hist(apply(test, 2, function(x) sum(x != 0)))

从分布中抽出 iid元素花费了秒，其中，（二进制情况），和呈指数下降。$0.2$$10^4$$f_{\mathbf{a}}^{(\mathbf{v})}$$J=10$$n=2$$\mathbf{v}=(1,1,\ldots,1)$$\mathbf{a}=(2^{11},2^{10},\ldots,2^1)$

（此算法不需要递减；因此，它将从任何位置族生成随机变量，而不仅仅是单峰。）$\mathbf{a}$

来自k确定点过程的样本对子集上的分布进行建模，该分布鼓励了多样性，因此相似项不太可能在样本中一起出现。请参阅Ben Taskar的Alex Kulesza进行的K确定点过程采样。