“深Noether定理”：建立对称约束

如果我有一个应该具有固有对称性的学习问题，是否有办法使我的学习问题受到对称性约束的影响而增强学习？

例如，如果我要进行图像识别，则可能需要2D旋转对称性。这意味着图像的旋转版本应获得与原始图像相同的结果。

或者，如果我正在学习玩井字游戏，那么旋转90度应该可以产生相同的游戏效果。

是否对此进行了研究？

machine-learning

— 艾丹·普纳特·麦克唐纳
source

是的，有些；例如，组等变卷积网络（代码），谐波网络：深度平移和旋转等方差，深度旋转等变网络，在卷积神经网络中利用循环对称性等。您只是在野外看不到它。

— Emre'8

@Emre谢谢！您知道CNN以外的工作吗？

— aidan.plenert.macdonald '17

不，我对这个利基只有肤浅的认识。尽管如此，CNN似乎是自然的环境...

— Emre

我还应该提到Risi Kondor的博士学位论文，机器学习中的组理论方法（pdf）

— Emre，

根据上面Emre的评论，Risi Kondor的机器学习中的组理论方法的第4.4节提供了有关创建固有具有对称性的内核方法的详细信息和证据。我将以一种希望直观的方式进行总结（我是物理学家而不是数学家！）。

大多数机器学习算法都有一个矩阵乘法，例如其中是输入，是我们希望训练的权重。

\begin{aligned} s_{i} & = \sum_{j} W_{i j} x_{j} \\ = \sum_{j} W_{i j} ({\vec{e}}_{j} \cdot \vec{x}) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~x_j \\ &= \sum_j W_{ij}~(\vec{e}_j \cdot \vec{x}) \end{align}$

\vec{x}

$\vec{x}$

W_{i j}

$W_{ij}$

内核方法

输入内核方法的领域，然后让算法通过，现在我们将其推广为。

\begin{aligned} s_{i} & = \sum_{j} W_{i j} k (e_{j}, x) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~k(e_j,~x) \end{align}$

x, e_{j} \in X

$x, e_j \in \mathcal{X}$

考虑一组作用于经由为。使我们的算法在该组下不变的一种简单方法是使内核与。 $G$ $\mathcal{X}$ $x \rightarrow T_g(x)$ $g \in G$

\begin{aligned} k^{G} (x, y) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \end{aligned}

$\begin{align} k^G(x, y) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_g(y)) \end{align}$

k (x, y) = k (T_{g} (x), T_{g} (y))

$k(x, y) = k(T_g(x), T_g(y))$

因此，

\begin{aligned} k^{G} (x, T_{h} (y)) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g h} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (T_{g} (x), y) \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{gh}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{g}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(T_{g}(x), y) \end{align}$

对于适用于所有unit表示的， $k(x, y) = x \cdot y$

\begin{aligned} k^{G} (x, T_{h} (y)) & = [\frac{1}{| G |} \sum_{g \in G} T_{g} (x)] \cdot y \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \left[ \frac{1}{|G|} \sum_{g \in G} T_{g}(x) \right] \cdot y \end{align}$

它提供了可以使输入对称化的转换矩阵。

SO（2）示例

实际上，为简单起见，仅映射到旋转的组。 $\frac{\pi}{2}$

让我们对数据中的数据进行线性回归，我们期望旋转对称。 $(\vec{x}_i, y_i) \in \mathbb{R}^2 \times \mathbb{R}$

我们的优化问题变为

\begin{aligned} min_{W_{j}} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = \sum_{j} W_{j} k_{G} (e_{j}, x_{i}) + b_{i} \end{aligned}

$\begin{align} \min_{W_{j}} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= \sum_j W_{j} k_G(e_j, x_i) + b_i \end{align}$

内核满足。您还可以使用和各种内核。 $k(x, y) = \| x - y \|^2$ $k(x, y) = k(T_g(x), T_g(y))$ $k(x, y) = x \cdot y$

因此，

\begin{aligned} k_{G} (e_{j}, x_{i}) & = \frac{1}{4} \sum_{n = 1}^{4} ‖ R (n π / 2) {\vec{e}}_{j} - {\vec{x}}_{i} ‖^{2} \\ = \frac{1}{4} \sum_{n = 1}^{4} (\cos (n π / 2) - {\vec{x}}_{i 1})^{2} + (\sin (n π / 2) - {\vec{x}}_{i 2})^{2} \\ = \frac{1}{4} [2 {\vec{x}}_{i 1}^{2} + 2 {\vec{x}}_{i 2}^{2} + (1 - {\vec{x}}_{i 1})^{2} + (1 - {\vec{x}}_{i 2})^{2} + (1 + {\vec{x}}_{i 1})^{2} + (1 + {\vec{x}}_{i 2})^{2}] \\ = {\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1 \end{aligned}

$\begin{align} k_G(e_j, x_i) &= \frac{1}{4} \sum_{n=1}^4 \| R(n\pi/2)~\vec{e}_j - \vec{x}_i \|^2 \\ &= \frac{1}{4} \sum_{n=1}^4 ( \cos(n\pi/2) - \vec{x}_{i1} )^2 + ( \sin(n\pi/2) - \vec{x}_{i2} )^2 \\ &= \frac{1}{4} \left[ 2 \vec{x}_{i1}^2 + 2 \vec{x}_{i2}^2 + (1 - \vec{x}_{i1} )^2 + (1 - \vec{x}_{i2} )^2 + (1 + \vec{x}_{i1} )^2 + (1 + \vec{x}_{i2} )^2 \right] \\ &= \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \end{align}$

请注意，我们不需要对求和，因为两者都相同。这样我们的问题就变成了 $j$

\begin{aligned} min_{W} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = W [{\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1] + b_{i} \end{aligned}

$\begin{align} \min_{W} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= W \left[ \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \right] + b_i \end{align}$

产生预期的球对称性！

井字游戏

示例代码可以在这里看到。它显示了我们如何创建一个编码对称性的矩阵并使用它。请注意，这在我实际运行时真的很糟糕！目前正在与其他内核一起工作。

— 艾丹·普纳特·麦克唐纳
source

干得好，爱丹！如果有时间，您可以撰写更详细的博客文章。社区将最感兴趣。

— Emre

不知道您指的是哪个社区，但我开始写更多。我想找到一种在给定数据集的情况下估计最佳内核的方法。因此，我优化了内核空间的熵，以直观地获得一组受对称约束且最大程度熵（即信息量大）的特征。现在，这是否是正确的方法。我不能说只是警告，数学现在只是一项骇人听闻的工作，有点不符合统计标准。overleaf.com/read/kdfzdbyhpbbq

— aidan.plenert.macdonald

当不知道对称群时，有什么有意义的方法吗？

— leitasat

@leitasat如果您不认识该小组，您怎么知道它是对称的？

— aidan.plenert.macdonald

来自数据的@ aidan.plenert.macdonald。假设我们有1000组，每组100张图片，并且每组中有一个对象从不同角度来看的图片。任何算法都可以“学习SO（3）对称性的思想”并将其用于以前看不见的对象吗？

— leitasat

事实证明，这只是应用于机器学习的不变理论的研究

— 艾丹·普纳特·麦克唐纳
source