可以训练神经网络以某种样式绘制图片吗？

可以训练神经网络以某种样式绘制图片吗？（因此，它会拍摄图像并以训练有素的样式重绘。）

是否有经过批准的技术可用于此类事情？我知道DeepArt算法。可以用特定的图案（例如，vangoghify图像）填充主图像，这很好，但是我正在寻找不同的东西，例如，从输入的肖像中以某种样式制作卡通。

machine-learning neural-networks deep-learning

— 扎夫格
source

训练照片卡通神经网络的一个障碍可能是找到训练数据集。数据集似乎必须包含照片，以及人类根据这些照片绘制的漫画。我不知道任何此类数据集。

— Tanner Swett

@TannerSwett您如何看待这种培训需要多少图像？

— zavg

我不是专家，所以我只能做出一个疯狂的猜测。我认为您至少需要一千张图片。您可能需要的还不止这些。顺便说一句，我建议您看一下这个工具：github.com/hardmaru/sketch-rnn该工具已被用来模仿汉字。也许类似的工具可以模仿动画片。

— Tanner Swett

我可能有点过时了，因为我的NN训练是在一段时间之前进行的，但是如果您考虑只训练一个包含数千张图像的网络，并期望它能够以某种样式渲染图片，那么您可能会走得太远-如果您认为这是一个很好的入门项目，那就不要。要实现您所描述的内容，将需要大量的人工摆弄。考虑一下解释图像所需的知识，而不仅仅是模式匹配。

— 彼得·斯科特

也值得一看vox.com/2016/6/1/11787262/blade-runner-neural-network-encoding

— Peter Scott

Answers:

有一篇相关论文：LA Gatus，AS Ecker，M Bethge，2015年，《一种艺术风格的神经算法》。引用摘要，

在这里，我们介绍一种基于深度神经网络的人工系统，该系统可以创建高感知质量的艺术图像。该系统使用神经表示来分离和重组任意图像的内容和样式，为创建艺术图像提供了一种神经算法。

这是本文的图2：

还有一个非常流行的基于炬开源实现在这里是很容易使用。有关更多示例，请参见链接。

请记住，计算量很大，因此对单个图像的处理是这项工作的范围。

编辑：检查您提到的DeepArt项目后，似乎正在使用相同的技术。我不确定为什么这不是您想要的，因为样式转移的概念已变得很普遍。

— 萨沙
source

卡通夸张并简化了所描绘内容的特征，产生的形状与照片中的形状非常不同。我不相信现有的样式转换神经网络曾经做到过。

— Tanner Swett

@TannerSwett在此处查看示例：imgur.com/a/ue6ap。其中一些是卡通风格的。

— 变形虫

@amoeba，它们看上去确实很卡通，是的，但是没有一个像大多数真正的卡通一样扭曲比例。

— Tanner Swett

我们在这里谈论样式转移。所有示例均使用某种先验选择的样式，但这些样式都不是卡通风格的（当在梵高学习时，输出为何看起来是卡通风格的）。也许您可以只运行开源项目（过去我没有任何问题），然后使用卡通输入进行尝试。

— sascha

这是一个很难解决的问题。您可以在此处看到一些示例，说明如何将卡通风格（例如，来自Simpson的卡通风格）应用于图像。

卡通图像通常没有赋予这种附庸风雅效果的结构。尝试以某种方式应用此方法的最简单方法是拥有一个面部跟踪器，然后尝试将两个面部（例如卡通面部和人脸）对齐，然后再应用此方法。那可能会带您到某个地方，但看起来也可能很奇怪。然后，您可以注释图像中的地标以进一步帮助并在此之前进行非刚性注册。这仍然是一种shitmix解决方案，但是我能想到的最接近的方法可能适用于面部。

编辑：

@TannerSwett的评论为此添加了一些内容，它有可能进入某些艺术家的网页并尝试找到他们的插图并尝试学习“他们的”风格。我仍然认为这不能令人满意或不能产生足够的数据，但这将是一件有趣的事情。目前尚无普遍可用的解决方案，但是我认为肯定有人在为此工作，我们很快就会看到更好的结果。

我认为也许走的路不是艺术性的神经网络方法。也许最好有一个网络，可以对图像中的对象进行分类，然后学习对象与卡通对象之间的对应关系，然后以某种有意义的方式融合结果。

— 久尾
source

辛普森（Simpson）的例子对我来说真棒@Gumeo

— FabricioG

它应该做起来并不复杂。还没有读过提到的文章，这是我的食谱：

可变自动编码器

带有变脸的在线演示：http : //vdumoulin.github.io/morphing_faces/online_demo.html

和https://jmetzen.github.io/2015-11-27/vae.html进行编码。

基本上，这为您提供了一种根据情况设置“样式”的参数的方法，例如，让我们说一下画笔笔触的宽度或模糊程度。取决于您要模仿的特定样式的东西。

在上面的示例中，不同的“变形”或“想象”面是潜在空间中参数的函数。在下面的图像中，这就是在“代码”级别更改内容所得到的。

这是基本概念：左侧为原始图片，右侧为同一图片的风格化版本：

现在，从理论上讲，如果您将以正常图像和风格化图像为目标训练此类模型并添加卷积，则应该能够学习与艺术家使用的“画笔描边”类型相对应的内核过滤器。

当然，这意味着您需要一些原始和风格化版本的图像示例。这样的数据集可以很好地捐赠给社区-如果您最终这样做，我将非常希望看到这种工作。

祝好运！

有关自动编码器的Wiki文章将是一个很好的起点：https： //en.wikipedia.org/wiki/Autoencoder

— 手里剑x蓝色
source