独家揭秘！抖音爆款实时视频漫画变身特效背后技能

出品 | CSDN（ID:CSDNnews）

动漫伴随着我们大部分人的青春，很多人悄咪咪地都有一个动漫梦，如果有一天能变身成为漫画中的人，觉得一定很奇妙吧？

还真就有人用技能手段帮我们实现了这个梦想。
最近，抖音推出的一款漫画变身殊效成为爆款，不论是高颜值的明星大咖，还是我等芸芸众生，都可以随手拍个视频，过把漫画瘾。

普世风格漫画脸的出身

这款漫画殊效这么火，与殊效的操作大略，风格也比较符合大众审美有很大关系，旁边滑动就能切换现实和虚拟漫画，效果也清新自然，符合大众用上之后就“变美”的生理预期。

不过，在确定终极殊效风格之前，抖音团队也是考虑到不同年事人群的喜好，搜集不雅观看了大量的漫画风格，包括当下日漫、国漫、韩漫的主流风格的漫画、番剧，比如日系清新风

国漫萌萌哒风

还有这样的（不知道什么风）

初期效果探索

但选到末了，团队锁定的效果方向为：具普世风格的漫画脸效果。

终极效果确定

这个所谓的具有普世风格的漫画脸，须要知足两个基本的哀求——“像”和“美”。
利用过这个殊效的人该当对这两点没有什么异议，利用殊效后，人物发型、脸型，乃至是表情和眼神都和真人神似，漫画脸也让人以为莫名舒畅，还挺好看。

实时视频处理背后技能独家揭秘

当然，除了好玩之外，这个殊效背后的“技能”，才是我们最感兴趣的。

和其他此前火爆过的漫画效果比较，这个殊效总结起来特殊之处在于三个关键字：“实时”、“视频”和“漫画”。

之前，我们已经看过过很多漫画干系的技能运用涌现，比如港中文、哈工大和腾讯优图互助的一篇论文中提出的方法，可以将将人脸照片转化成手绘版风格的卡通图，乃至反向把卡通图转换成真人版，很神奇。

华盛顿大学的照片唤醒技能，可以把动态图像转换成3D动态，让目标像是从画里走出来一样平常：

这些神奇的邪术，都与GAN技能干系。
GAN（天生式对抗网络，Generative Adversarial Networks ）是一种深度学习模型，是近年来繁芜分布上无监督学习最具前景的方法之一。
模型通过框架中（至少）两个模块：天生模型（Generative Model）和判别模型（Discriminative Model）的相互博弈学习产生相称好的输出。
由于这样的特点，GAN成为各种天生技能的不二之选。

抖音这次推出的漫画变身殊效紧张技能也还是GAN，但与以往比较也有差异之处。

此前，变漫画功能基本都基于人脸表情跟踪，学界和工业界都没有千人千面的实时漫画天生方法，这次抖音推出的漫画殊效是在视频中实时实现的，这项技能在环球也是首次落地。
在视频中，可实现人脸和头发变漫画的效果，合营背景风格迁移技能，完玉成屏漫画的实时天生，并且通过“手动滑杆”道具，能与真实视频随意切换。

实际上，抖音实时漫画殊效在终极技能选型之前，曾比拟过大量当前天生技能方法，包括天生漫画的方法，如 ugatit，也有做其他任务的方法，如 MUNIT 等。
但经调研创造，当前的 GAN 用于漫画天生、风格迁移等任务存在一些问题，首先是演习不稳定，超参数进行一些眇小的调度就可能对结果产生很大影响，而且还随意马虎碰着梯度消逝的问题。
对此，抖音的改进方案是考试测验多种 loss，包括WGAN、LSGAN等，但目前为止还是没有银弹，以是须要在实验过程中监控梯度的变革。

抖音技能团队见告CSDN，在漫画视频技能探索过程中，技能团队在初期考试测验中屡屡碰钉子，在前期预研中，输出版本效果与图片版相差较大，且性能也未能达标。
在几次考试测验效果均不理想的情形下，团队内部一度对实时漫画的可行性也涌现了疑惑。

但好在几次失落败的考试测验后，在总结履历时有人指出了关键所在：之前的模型构造单一，不同模型的优缺陷不完备同等。
于是，技能团队考试测验了模型嫁接的方法，用不同的模块拼接出新模型，大幅提升了漫画的天生质量。
在质量达标后，又通过打算每层的主要程度来裁剪模型，终极确定了实时版模型的构造。

效果产品团队也参与模型效果调优，总结出参数与效果之间的定量关系，通过微调参数优化模型。
终极，行业首发的高清实时真人漫画风格处理爆款才得以出身。

与静态图片处理比较，实现实时漫画处理究竟难在哪里呢，尤其是在手机端实现？

抖音技能团队表示，实时视频漫画处理难度还是挺高的，比如模型本身打算量须要非常小，在有限的打算量下要达到比较好的漫画效果，须要让每一次运算都要充分发挥其代价。
其次，抖音的用户浩瀚，用户利用的机型性能差距也非常大。
为了知足不同层次用户的需求，抖音研发了繁芜的模型下发策略，实现了模型的定制化下发，这在终极担保了实时漫画的成功上线，在效果和性能方面达到实时漫画的哀求。

此外，抖音漫画殊效启用了自研的推理引擎ByteNN，这个针对端侧算法快速落地的推理引擎不仅支持 CPU 和 GPU 的通用打算能力，也充分发挥了厂商 NPU/DSP 硬件的加速能力，端侧性能和功耗均处于业界领先水平，这也担保了实时漫画能够稳定支持抖音海量的用户群体。

当然，这个实时漫画殊效目前的算法针对一些分外场景还是有一定优化空间，在之后的迭代中也会从模型本身和推理引擎两个方面入手，提升模型效果的同时优化推理性能。

在泛娱乐场景，GAN还有更大发挥空间

从当前推出的一些漫画天生效果来看，GAN这个热门技能确实为娱乐领域注入了很多新小的血液，引入了一些新鲜的玩法。
不仅限于漫画，泛娱乐领域中，GAN方法的运用潜力肉眼可见，未来，这项新兴技能还会有哪些技能发展趋势，或者研究热点呢？

抖音技能职员认为，GAN实质上是分布之间的迁移，只要能定义分布之间的映射，就能考试测验GAN。
至于未来GAN还可以在哪些方向上大有用武之地，他们认为真实感和非真实感的风格迁移可能是长期的热点。
除此之外，天生网络与3D技能的结合也可能是未来的热点之一。

比如同期间在日本一款 爆火的3D 姿态追踪漫画人物运用ThreeDPoseTracker，只须要利用一个USB摄像机或一段舞蹈视频来捕获运动，通过一种姿势预估模型（主干为Res-Net-34），就能让虚拟动漫人物随着自己舞动，天生的动作效果十分精准、自然流畅。

抖音表示，这是一个有趣的运用，团队一贯在关注一些前沿并且有趣的技能，事实上，抖音此前也已经上线了类似的殊效，抖音搜索“召唤秃顶强”、“Line dancer”就可以体验。

正如抖音技能职员所说，GAN的能力不应仅局限于图片，3D的运用处景将给这项技能供应更大的展示舞台，期待在未来，GAN能够带给我们更多惊喜！