若何运用AI技能智能、大年夜批量地设计海报？

图1 封面配色&布局设计[2]

在设计领域的一些子问题上，可以用算法来挖掘出数据背后的规律（如图1所示）。
那么，能否构建一个完全的学习算法和处理系统，统一办理Banner设计中所有的子问题（配色、布局、搭配、天生）呢？

素材图层是Banner的根本元素，其本身可以被特色化，同时组成Banner的多少元素间的叠加顺序可以被序列化，因此，算法实际是在学习“在什么时候，选择某种素材，放在哪里”。

图2 流程框架

如图2所示，为理解决这个问题，我们设计方案器、优化器、天生器来共同构建海报设计的学习与生产过程。
个中：

1. 方案器从数据中学习设计师对不同风格下的设计习气与规律；

2. 优化器基于美学质量和设计原则，对前者的输出结果做风雅化调度；

3. 末了，由天生器选取/天生素材并渲染成图；

4. 素材库作为这三个环节的根本，卖力素材管理和素材标签化。

素材库

如何提取素材图片的特色属性，这是比较范例的分类问题。
在打算机视觉领域，传统方案是提取图像的颜色、梯度等低级语义特色[3]，结合传统的分类器（LR、SVM等）来实现分类。
近年来，基于深度学习的方法由于能表达更为繁芜的语义特色，逐渐成为主流方法[4]。
如图3所示我们提取传统的低级语义特色，以及基于CNN的高等语义特色，来共同完成素材特色属性提取。

图3 素材库-特色提取

方案器

完成素材的数据化事情后，若何学习Banner的设计过程？

作为一种天生模型，对抗天生网络（GAN）[5]在近年广为运用，其上风是可以端到端地演习图像天生模型，但在我们的运用处景下，GAN存在以下两个问题：

1. GAN的过程更像是“黑盒”的过程：输入方面，虽然Conditional-GAN之类的方法可以实现某种程度有条件地可控天生，但对付Banner设计任务来说，其输入信息（文案、目标风格、主体信息）仍旧过于繁芜；

2. 输出方面，GAN直接天生源数据（即图像），但非常缺少阐明性。
我们须要的是更加直不雅观、更有阐明性的信息，比如素材的类型、颜色、轮廓、位置等。

在上文中有提到，Banner设计过程是素材图层依次叠加的过程。
因此，我们可以用序列天生模型来拟合这个过程[6]。
在建模过程中，我们把素材视作词汇（Word），海报视作句子（Sentence），词汇索引视为离散化的特色索引，素材叠加顺序就可以视为句子中的词顺序[7]。

图4 方案器-序列天生

图4是我们利用的序列天生模型，输入主体信息和目标风格，输出素材特色的序列。
为了增强预测过程中多条路径结果的多样性，我们在监督性地演习每个时候的输出之外，还引入了评估全体序列合理性的Object loss。
如图5所示，借鉴SeqGAN的思想，Object loss可以由判别器来供应[8]。

图5 SeqGAN[8]

优化器

方案器预测素材的量化特色，为了确保终极成图符合美学标准，须要一个后处理的过程（图6）。
我们用优化器来办理这个问题。
从实质上讲，这是一个优化过程。
通过和设计师们的沟通，我们设计了一些基于常规设计理念和美学标准的目标函数，动作凑集包括移动、缩放、亮度调度等，结合优化方法，提升Banner的视觉效果。

图6 优化器

天生器

优化后的素材特色序列，通过天生器来渲染成图。
如图7所示，对付素材库检索不到符合某种特色属性的素材的情形，我们设计了图像风格迁移的方法来实现图像特色迁移。
这里的特色可以是颜色、形状、纹理等低级特色，也可以是某种语义化的视觉风格特色，对后者来说，可以将源图像的内容Content和目标图像的风格Style在某种特色空间（CNN中的某一层）里做领悟，实现风格迁移[9,10]。

图7 素材天生

“千人千面”的精准营销是未来营销策略的趋势，这对商品素材的丰富性提出了非常高的哀求；从为商家赋能的角度来说，也须要为商家供应更多样的海报版式，这也哀求系统具备海报风格的快速学习能力和拓展能力。
对此，在常规设计风格的研究之外，我们从以下3个方面做了一些拓展研究。

主体图片加工

商品素材的丰富度与美学质量是风雅化营销及海报美学质量非常主要的一环。
个中最核心的哀求是图像分割的能力[11,12]。
以全卷积网络（FCN）为根本，如图8所示，我们采纳以下几个在目标分割领域常见的技巧，来实现商品图片的目标分割：

1. Encoder-Decoder构造

2. 空洞卷积

3. 多尺度特色领悟

4. Two-Stage微调网络

图8 图像语义分割&抠图（构造图部分参考DeepLab v3+[12]）

这种基于语义分割方法的结果，在专业设计师人工评审质量的过程中，创造主体边缘有时会涌现明显的锯齿感。
经由剖析，我们认为有以下两个缘故原由：

1. 语义分割模型把问题建模为一个“像素级分类过程”，每一个像素的种别都天然地被假设为“非此即彼”，大多数的Segmentation模型都采取Cross-Entropy作为丢失函数；

2. 因此，无论是从模型构造（CNN）还是从丢失函数的角度来说，分割模型会更方向于全局信息从而丢弃局部构造信息，导致只能得到边缘比较粗糙的分割结果。

为此，如图8所示，我们在图像分割的输出结果之外，结合了Image Matting方法：

1. 对分割模型的输出结果做形态学变换，天生三值Trimap，分别表示前景区、背景区、未知区；

2. 运用常规的Matting方法，比如Bayesian、Close-Form等，以原图像和Trimap图像为输入，输出前景图的Alpha通道；

3. Matting可以使前景主体的边缘更加平滑，视觉质量更高（图9）。

图9 商品主体抠图

其余，基于图像美学质量评分模型，我们会优先选择质量分高的图片作为主体素材来源。
对中低分的图片，未来可以考虑借鉴Cycle-GAN[13]的思想，设计基于半监督和GAN的图像增强网络，美化后再经由图像分割产生主体素材。

海报模板拓展

上述的常规设计风格的学习属于一种广义的设计风格，须要设计师先期投入很多精力造作风划分以及数据网络、处理。
为了快速适配热点场景，我们借鉴图像检索技能(如图10所示)，提取素材图片的CNN特色及颜色特色，利用欧式间隔来度量素材相似度，这能节省人工打标签的本钱，实现基于固定模板的自动拓展及天生（海报临摹）。

图10 素材图像检索与模板拓展

多分辨率拓展

在日常事情中，设计师在设计出Banner后，每每要花费很永劫光对不同展位、不同版本、不同机型做多尺寸适配（如图11所示）。
能否用算法来帮忙人工提效？在素材已经确定，并且相互的位置关系近乎确定的条件下做多分辨率适配，这实质上是一个优化问题，我们在上文布局优化器的根本上，增加元素的局部相对位置与全局绝对位置的拓扑关系作为目标函数。
目前，系统支持在某个固定宽高比30%范围内的任意分辨率适配，未来会进一步扩大适配范围。

图11 多分辨率拓展

目前，我们的Banner智能设计系统为钻展（外卖首页广告位）、商家店铺装修等业务供应稳定的设计能力；素材加工等子能力也在为外卖、闪购等商品图片供应技能支持。
后续我们会从扩展常规设计风格、语义干系的颜色及素材挖掘、自动解析数据、构建自评估学习闭环等方面连续研究，进一步提高算法的设计能力和适用性，尽可能帮忙设计师提高效率，降落高重复性事情的韶光和经济本钱。

参考文献

[1] A. Jahanian, J. Liu, D. Tretter, Q. Lin, E. O’Brien-Strain, S. Lee, N. Lyons, and J. P. Allebach. \公众Automatic Design of Colors for Magazine Covers\"大众. In Proc. IS&T/SPIE Electronic Imaging, International Society for Optics and Photonics, 2013

[2] X. Y. Yang, T. Mei, Y. Q. Xu, Y. Rui, S. P. Li. \公众Automatic Generation of Visual-Textual Presentation Layout\公众. ACM Transactions on Multimedia Computing, Communications, and Applications, 2017

[3] David G. Lowe. \公众Distinctive Image Features from Scale-Invariant Keypoints\公众. International journal of computer vision, 2004

[4] Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton. \"大众ImageNet Classification with Deep Convolutional Neural Networks\"大众. NIPS, 2012

[5] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio. \"大众Generative Adversarial Networks\"大众. NIPS, 2014

[6] K. Kawakami. \"大众Supervised Sequence Labelling with Recurrent Neural Networks\公众. Studies in Computational Intelligence, 2008

[7] T. Mikolov. \"大众Statistical Language Models based on Neural Networks\公众. 2012

[8] L. Yu, W. Zhang, J. Wang, Y. Yu. \公众SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient\"大众. AAAI, 2017

[9] L.A. Gatys, A.S. Ecker, M. Bethge. \"大众Image Style Transfer Using Convolutional Neural Networks\"大众. CVPR, 2016

[10] Y. Li, M.Y. Liu, X. Li, M.H. Yang, J. Kautz. \"大众A Closed-form Solution to Photorealistic Image Stylization\"大众. ECCV, 2018

[11] J. Long, E. Shelhamer, T. Darrell. \"大众Fully Convolutional Networks for Semantic Segmentation\公众. CVPR, 2015

[12] L.C. Chen, Y. Zhu, G. Papandreou, F. Schroff, H. Adam. \公众Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation\"大众. ECCV, 2018

[13] J.Y. Zhu, T. Park, P. Isola, A. A. Efros. \"大众Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks\"大众. ICCV, 2017

作者简介

晓星，2017年6月加入美团，目前紧张卖力美团外卖图像内容挖掘、增强、天生方面的干系事情，致力于图像干系技能的积累及落地。

欢迎加入美团深度技能互换群，跟项目掩护者零间隔互换。
进群办法：请加美美同学微信（微旗子暗记：MTDPtech02），回答：AI，美美会自动拉你进群。