找回密码
 注册帐号

扫一扫,访问微社区

综合新闻 GitHub趋势榜第一:把小姐姐自拍,变成二次元萌妹子,神情高度还原,效果胜于CycleGAN

15
回复
1743
查看
[ 复制链接 ]
9以坛为家
33153/50000
排名
1
昨日变化

8252

主题

8810

帖子

3万

积分

Rank: 9Rank: 9Rank: 9

UID
1231
好友
186
蛮牛币
251
威望
30
注册时间
2013-7-29
在线时间
4217 小时
最后登录
2019-11-20

活力之星原创精华达人突出贡献奖财富之证游戏蛮牛QQ群会员蛮牛妹VIP

2019-8-8 12:30:31 显示全部楼层 阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?注册帐号

x
如何能让一个小姐姐属于你?
把她变成二次元的人类,就可以解锁一个老婆了。
韩国游戏公司NCSOFT,最近开源了一只技艺精湛的AI。
只要任意输入小姐姐的自拍,就能得到她在二次元的样子了:

1.jpg


对比原图,感觉小姐姐还是那个小姐姐。
一个眼神,一个围笑,都是三次元时的样子没变。
当然,如果你有喜欢的二次元老婆,想看她穿越到现实会是什么样子,也没有问题。只要输入一张她的头像:

1.jpg


就生成了逼真的小姐姐。
这个算法叫U-GAT-IT,名字也令人神往。重要的是,它是用无监督方法训练的,连成对的数据都不需要。
现在,团队已经把TensorFlow实现和PyTorch实现,都放上了GitHub。两个项目一起登上了趋势榜,且TF项目一度冲到第一。
在食用之前,不妨来看看究竟是怎样的AI,能给你这般丰盛的福利:

这只GAN的注意力,与众不同
U-GAT-IT,是一个图到图翻译算法,由两只GAN组成的。
一只GAN,要把妹子的自拍,变成二次元小姐姐。这是从源领域到目标领域的翻译。
另一只GAN,要把二次元小姐姐,再变回三次元自拍。这是从目标领域到源领域的翻译。
这样,就有两套生成器&判别器的组合。
(生成器负责生成逼真的假图,欺骗判别器;而判别器负责识破假图。相生相长。)

1.jpg


而为了生成更加逼真的图像,团队给这两只GAN的一共四个部件,加入了不同的注意力。
具体的方法,受到了周博磊团队2016年CAM研究的启发。
CAM,是类激活图的简称。它能找出对于判断一张图的真假,最重要的区域,然后AI就能把注意力集中在那里。
只不过在上采样部分,CAM用的是全局平均池化。而U-GAT-IT为了更好的效果,结合了全局的平均池化和最大池化。
这里,用第一只GAN,就是生成二次元小姐姐的GAN来举例。先看判别器:


它要判断一张图片,是不是和数据集里的二次元妹子属于一个类别。假如不是同类,那就判定是生成器的作品。
判别器有一个辅助分类器 (CAM) ,会找出对类别判断更重要的区域。
这也会引导生成器,把注意力集中在重要的区域。
再看生成器:

1.jpg


它的辅助分类器,会找出属于三次元妹子的重要区域。然后,把两个领域的重要区域作比对,注意力模块就知道,生成器的注意力该集中在哪了。
第二只GAN,只是生成方向相反,道理也是一样的。

而要把两只GAN结合在一起,损失函数也是精心设计过的:

损失函数有四部分
一是对抗损失,不多解释,每只GAN都有。
二是循环损失,这是为了避免生成器和判别器找到某种平衡之后相互和解、停滞不前 (Mode Collapse) 。
要保证为目标领域生成的图像,还要能回到源领域被认可,就给生成器用了个循环一致性 (Cycle Consistency) 的约束。

1.jpg


三是身份损失,为了保证输入图像和输出图像的色彩分布类似,给生成器用了个身份一致性的约束。
具体说来,从目标领域挑一张图,如果给它做一个从源领域到目标领域的翻译,应该不发生任何变化才对。
四是CAM损失,给出一张图激活图,生成器和判别器会知道它们需要提升哪里。或者说,知道两个领域之间,当前最大的区别在哪里。
除此之外,U-GAT-IT还有一个重要的贡献:

AdaLIN可选归一化方法
通常来说,Instance Normalization (IN) 是比较常用的方法,把图像的特征统计直接归一化,就能消除风格变化 (Style Variation) 。
相比之下,批量归一化 (BN) 和层归一化 (LN) 没有那么常用。

而给图片做归一化的时候,更多见的是自适应的IN,简称AdaIN。
但在这里,团队提出了AdaLIN,它可以在IN和LN之间动态选择。

1.jpg


有了它,AI就能灵活控制形状与质地的变化多大了。
从前基于注意力的模型,没办法解决不同领域之间的几何变化;
但U-GAT-IT,既可以做需要整体变化 (Holistic Changes) 的翻译,也可以做需要大幅形状变化 (Large Shape Changes ) 的翻译。
最后再来讲一下数据集。


无监督,不成对
selfie2anime,有两个数据集。
一个是自拍数据集,一个是二次元数据集,都是只选了妹子。

1.jpg


各自是训练集里3400张,测试集里100张。没有配对。
其实也不止这些,还有马变斑马,猫变狗,照片变梵高画风等等,训练了各种功能。
来看看成果如何:


效果远胜前辈
U-GAT-IT (b) 和许多厉害的前辈比了一场,它们是:
CycleGAN (c) 、UNIT (d) 、MUNIT (e) 、DRIT (f) 。
1.jpg
△ 第四行,是照片变成肖像画作;第五行,是变梵高画风
反向生成,比如二次元变三次元,斑马变马之类,也都可以:

1.jpg
(b) 列是本文主角,在穿越次元的任务上,表现明显优于各路前辈。在其他任务上,生成效果也总体超过前辈。
然后,再来看一下注意力模块 (CAM) 到底有没有作用。
右边两列,差别尽显。(e)是有注意力,(f)是没有注意力:

1.jpg


最后,观察可以动态选择归一化方式的AdaLIN,比起无法选择,效果如何。

AdaLIN的生成结果,更加完整,瑕疵比较少见。
如此一来,U-GAT-IT从各个角度看,都成功了。
令人内心一阵狂喜,快来领取开源代码吧。
这是TensorFlow版本,一度登上趋势榜第一:
https://github.com/taki0112/UGATIT
— 完 —
知乎@量子说


回复

使用道具 举报

7日久生情
3338/5000
排名
2252
昨日变化

0

主题

1765

帖子

3338

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
163777
好友
2
蛮牛币
1551
威望
0
注册时间
2017-2-27
在线时间
949 小时
最后登录
2019-12-13
2019-8-8 17:13:57 显示全部楼层
回复

使用道具 举报

2

主题

15

帖子

23

积分

Rank: 1

UID
272872
好友
0
蛮牛币
146
威望
0
注册时间
2018-3-17
在线时间
6 小时
最后登录
2019-8-23
2019-8-8 23:09:26 显示全部楼层
板凳,前排的,呵呵
回复

使用道具 举报

7日久生情
2553/5000
排名
4094
昨日变化

0

主题

1770

帖子

2553

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
254705
好友
1
蛮牛币
2292
威望
0
注册时间
2017-11-16
在线时间
421 小时
最后登录
2019-12-13
2019-8-9 07:59:33 显示全部楼层
6666666666666666666666666666
回复 支持 反对

使用道具 举报

排名
39864
昨日变化

0

主题

36

帖子

86

积分

Rank: 2Rank: 2

UID
290518
好友
0
蛮牛币
263
威望
0
注册时间
2018-7-20
在线时间
44 小时
最后登录
2019-11-27
2019-8-9 08:43:21 显示全部楼层
厉害厉害66666666666666666666
回复 支持 反对

使用道具 举报

5熟悉之中
763/1000
排名
3917
昨日变化

1

主题

51

帖子

763

积分

Rank: 5Rank: 5

UID
253412
好友
0
蛮牛币
1044
威望
0
注册时间
2017-11-9
在线时间
340 小时
最后登录
2019-12-13
QQ
2019-8-9 08:49:17 显示全部楼层
666666
回复

使用道具 举报

6蛮牛粉丝
1074/1500
排名
10708
昨日变化

0

主题

777

帖子

1074

积分

Rank: 6Rank: 6Rank: 6

UID
301976
好友
1
蛮牛币
1590
威望
0
注册时间
2018-10-31
在线时间
199 小时
最后登录
2019-12-13
2019-8-9 09:45:03 显示全部楼层
回复

使用道具 举报

7日久生情
2688/5000
排名
503
昨日变化

4

主题

273

帖子

2688

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
45840
好友
0
蛮牛币
3568
威望
0
注册时间
2014-9-20
在线时间
915 小时
最后登录
2019-12-10
QQ
2019-8-9 09:56:33 显示全部楼层
回复

使用道具 举报

6蛮牛粉丝
1232/1500
排名
2332
昨日变化

1

主题

170

帖子

1232

积分

Rank: 6Rank: 6Rank: 6

UID
236305
好友
1
蛮牛币
1696
威望
0
注册时间
2017-8-7
在线时间
454 小时
最后登录
2019-11-18
2019-8-9 10:08:55 显示全部楼层
牛皮牛皮。。
回复

使用道具 举报

5熟悉之中
824/1000
排名
6021
昨日变化

4

主题

296

帖子

824

积分

Rank: 5Rank: 5

UID
146845
好友
3
蛮牛币
317
威望
0
注册时间
2016-4-26
在线时间
292 小时
最后登录
2019-12-7
2019-8-9 10:11:59 显示全部楼层

6666666666666666666666666666
回复 支持 反对

使用道具 举报

4四处流浪
373/500
排名
9581
昨日变化

1

主题

88

帖子

373

积分

Rank: 4

UID
289770
好友
0
蛮牛币
84
威望
0
注册时间
2018-7-13
在线时间
167 小时
最后登录
2019-12-4
2019-8-9 16:34:56 显示全部楼层
13212313212313210
回复 支持 反对

使用道具 举报

3偶尔光临
198/300

0

主题

100

帖子

198

积分

Rank: 3Rank: 3Rank: 3

UID
327304
好友
2
蛮牛币
126
威望
0
注册时间
2019-7-16
在线时间
80 小时
最后登录
2019-12-12
2019-8-9 16:43:54 显示全部楼层
不明觉厉
回复

使用道具 举报

7日久生情
3020/5000
排名
2230
昨日变化

1

主题

1971

帖子

3020

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
119154
好友
0
蛮牛币
3495
威望
0
注册时间
2015-8-21
在线时间
418 小时
最后登录
2019-11-25
2019-8-12 10:07:54 显示全部楼层
谢谢楼主大大。
回复

使用道具 举报

7日久生情
2553/5000
排名
4094
昨日变化

0

主题

1770

帖子

2553

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
254705
好友
1
蛮牛币
2292
威望
0
注册时间
2017-11-16
在线时间
421 小时
最后登录
2019-12-13
2019-8-13 08:13:36 显示全部楼层
66666666666666666666
回复 支持 反对

使用道具 举报

7日久生情
1563/5000
排名
3444
昨日变化

0

主题

917

帖子

1563

积分

Rank: 7Rank: 7Rank: 7Rank: 7

UID
210390
好友
0
蛮牛币
1801
威望
0
注册时间
2017-3-7
在线时间
212 小时
最后登录
2019-12-10
2019-8-14 15:51:33 显示全部楼层
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册帐号

本版积分规则