拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能
网络
拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能
工具
拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能
模型
拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能
商业智能
拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能
ETL

很多小伙伴都利用生成对抗网络(GAN)进行过各种各样的有趣的实验,虽然GAN难以训练和评价,但它仍然在深度学习领域占有十分重要的位置。究其原因是因为GAN为我们打开了一扇完全不同于传统机器学习研究的全新大门。

对人脸特征进行各种各样有趣的操作(年龄、性别、表情等)是图像语义操作中更为有趣的问题,人们可以将这样的功能集成到很多移动app中来修改拍照后的面部表情。虽然有很多各种各样的实现方法,但GANs却有着更为出众的表现——让你的照片绽放笑容~ 😄



拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能

下图是Age-cGAN,CycleGAN和IcGAN处理后的示意图,但这些应用中我们都会面临一个严重的问题:GAN会改变不需要改变的部分,比如说图像的背景,特别是对于只需要对图像中一小部分进行操作的任务尤其明显!



拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能

相关链接

https://arxiv.org/abs/1702.01983

https://arxiv.org/abs/1703.10593

https://arxiv.org/abs/1611.06355

接下来就让我们一起来看看本文作者Georgiy Trofimov是如何突破这一问题的瓶颈的。


解决方案

为了解决上面提到的问题,一种可行的解决办法是单独训练分割模型,利用它来生成一个匹配生成图像中目标的掩膜。但这随之而来的是两个问题,第一训练数据的获取十分复杂,第二你必须假设GAN对于图像的语义操作不会改变对象的外形。


拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能

基于条件掩膜的GAN

https://arxiv.org/abs/1708.00315v1

看来这个办法不是太靠谱,那么另一种方法呢?

我们还可以利用损失函数来限制生成器的行为,从而迫使生成器减小对于无关区域的影响。作者通过对以上两个想法的综合提出了自己的解决方法:


1. 利用生成器架构的内置分割;

2. 将原始图像和通过分割掩膜后的图像块混合;

3. 端到端地训练整个神经网络;

4. 利用L1损失函数约束生成器并减小图像的改变。


拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能

这就是最后实施的想法,作者希望模型可以生成完美的掩膜,并可以训练出一个很好的分割模型。


结果如何?

下图是作者选取的结果,最终结果中超过80%的模型输出被接受。



拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能

看起来很不错,图中的人都发出了灿烂的微笑而且背景没有被显著的改变。但作者还是发现了一些问题:


1. 如果照片中的人已经在笑的话,网络机会不会对模型进行任何操作;

2. 对于一些极特殊的头部角度处理的效果并不好;

3. 有时候还是会有一些不希望的地方别GANs改变。



拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能

生成的结果随着训练次数的变化情况

在最初的几次训练中,生成器生成了越来越逼真的图像,但随着训练的增加模型开始显示出一系列人工雕琢的痕迹,比如说头发和面部颜色都发生了些许的变化。

思考与回顾

对于上面出现的情况其主要的原因在于:当生成器生成了逼真的面庞时,它迫使判别器忽略了表情并让它将注意力集中于其他的位置和特征(此时,笑容已经不是主要的特征了)。

还有一种理解来自于判别器的过拟合(虽然拥有约100000个的训练样本),如果加入更为强烈的正则化项可能会帮助网络更好地理解图像的主要特征。

同样对于其他的数据集(例如斑马-马转化的数据集)同样存在这些问题,生成器还是会对图片的其他位置产生影响。

具体的实施步骤:

1.训练CycleGan网络;

2.利用对齐后的CelebA数据集进行训练;

3.具体框架使用了PyTorch。

上面的结果是作者在3Gb的GPU(GTX 1080)上训练了4-5天的时间得到的。具体的可以移步https://github.com/tgeorgy/mgan。


欢迎加入本站公开兴趣群

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识

QQ群:418451831

tags: #160,生成,训练,图像,org,arxiv,abs,掩膜,模型,作者,数据,改变,分割
分页:12
转载请注明
本文标题:拍照表情管理不好?用Masking GAN让每个人都露出灿烂笑容人工智能
本站链接:http://www.codesec.net/view/570516.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 商业智能 | 评论(0) | 阅读(189)