文本也可能使用GAN（生成对抗网络）吗？

GAN-生成对抗网络-是否仅适用于图像，或者也可以用于文本？

例如，训练网络以从摘要生成有意义的文本。

UPD-GAN发明者Ian Goodfellow的报价。

GAN尚未应用于NLP，因为GAN仅针对实值数据定义。（2016）来源

这不是一个根本上有缺陷的想法。应该至少可以执行以下操作之一...（2017）来源

是的，GAN可以用于文本。但是，GAN的工作方式以及神经网络通常如何生成文本的结合存在一个问题：

• GAN的工作原理是通过生成器和鉴别器的组成传播梯度。
• 通常通过在令牌空间上具有最终的softmax层来生成文本，即，网络的输出通常是生成每个令牌（即离散随机单位）的概率。

这两种情况不能很好地结合使用，因为您不能通过离散的随机单位传播梯度。有两种主要的处理方法：REINFORCE算法和Gumbel-Softmax重新参数化（也称为具体分布）。考虑到已知REINFORCE具有高方差，因此您需要大量数据才能获得良好的梯度估计。

作为文本GAN的REINFORCE的示例，您可以查看SeqGAN文章。冈贝尔-SOFTMAX的例子，你可以查看这篇文章。

另一个完全不同的选择是不使用离散的随机单位作为生成器的输出（例如，在嵌入式空间中确定性地生成令牌），从而消除了通过它们反向传播的原始问题。

关于此主题还有更具体的研究：

训练有素的生成器能够产生具有一定语法和逻辑水平的句子。

肖学荣，“使用生成式对抗训练生成文本”

这个问题与此有关：https : //linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

是的，GAN现在也可以用于离散数据。这种直觉的第一个实例是Wasserstein GAN（WGAN）诞生的时候。伊恩·古德费洛（Ian Goodfellow）在NIPS 2016大会上谈到了针对这一问题的强化学习方法。此外，本文还探讨了GAN在离散数据方面的进步。