若安在淘宝人生2一键定制你的专属3D数字人

背景

淘宝人生是海内用户规模较大的装扮类运用之一，在淘宝中扮演了用户的第二人生的主要浸染。

淘宝用户在淘宝既能购物，又能自由捏脸，打造自己的虚拟形象和装扮自己的小屋。

淘宝人生系列运用也内置了很多互动类玩法，通过供应多元的玩法体验让用户在逛淘宝时以为好逛又好玩。

▐淘宝人生1和淘宝人生2风格比拟

淘宝人生先后推出了两个版本，淘宝人生1和淘宝人生2（别号：第二人生），淘宝人生2作为淘宝人生1的延续，比较于之前的卡通风格更倾向于超写实风格，同时淘宝人生2也是市情上少有的将超写实风格落地到移动真个装扮类运用。

▐淘宝人生2的AI玩法

虚拟衣饰资产生成

左：AI 算命师 中：照片风格化 右：照片捏脸

淘宝人生2供应了很多AI干系的玩法。
比如购买淘宝真实的衣服往后为你天生一套该样式的虚拟衣饰资产并穿搭到自己捏好的虚拟形象中，AI星象占卜师涂山赫言通过供应财运占卜等做事迎合当下年轻人的精神需求，同时照片风格化可以将捏好的形象二次创作，产生更多好玩的风格。

用户还可以通过上传图片一键天生带有自己特色的虚拟数字形象，大幅提升用户的捏脸效率。

本文将详细先容照片捏脸的功能。

照片捏脸背景先容

捏脸玩法是淘宝人生2中用户刚需且高频利用的一个核心功能。
用户在玩捏脸时一样平常会方向于利用供应的捏脸滑杆DIY一个类似自己或者自己喜好的idol的3D虚拟形象。

根据供应的捏脸滑杆手动捏脸且要与自己心目中的形象达到一定的相似度是一个非常耗时的过程。

全体捏脸的调节项有80多个，用户须要每次进入各个五官调节项的界面去调节每个值，同时每个五官调节项对应还有各个细分区域的子调节项。

整体捏一张比较像的人脸不算上细节上的微调，大概须要半小时旁边。

照片捏脸办理的痛点

为了追求超写实风格的3D数字人形象，我们无法对八十多个五官捏脸调节项进行精简去提升用户的捏脸效率，不然会影响捏脸的表达能力。
但是全体繁芜的专业捏脸系统很随意马虎花费用户的耐心，用户每每在捏个10分钟由于无法得到满意的形象而被劝退，给用户带来不好的产品体验。

为了提升用户的捏脸体验，减少用户的捏脸韶光，有没有什么方法可以让用户更快的天生心目中的3D数字人形象呢？

回到文章的标题，如何在淘宝人生2中一键定制3D数字人，办理用户侧手动捏脸耗时较长的痛点？

经由反复谈论，我们的办理方案是用户上传自己的照片或者自己idol的照片通过AI算法一键天生用户的专属3D数字人。

通过上传用户照片自动捏脸可以带来的优点有：

大幅提升捏脸效率，比较于原来手动捏脸动辄半个小时的韶光，当前照片捏脸的韶光掌握在5s以内，捏脸韶光缩短为原有的1/360利用用户上传的图片可以定制化用户想要的形象，使得用户更快速获取心目中的虚拟数字形象

业界3D照片捏脸运用

2D的照片风格化运用较多，基于输入照片重修3D卡通形象由于技能难度较高干系运用较少。

一样平常业界基于照片自动重修3D卡通形象的运用有三个方向：

第一个方向是许可用户个性化妆扮自己的虚拟谈天形象，并在谈天窗口中或者视频通话中利用，隐蔽用户的真实人脸信息，提升社交的私密感；第二个方向是个性化天生用户的数字分身，并基于该数字分身产生更多互动的内容生产与创作，通过照片捏脸供应既美又像的数字分身，提升用户在虚拟空间的认同感。
第三个方向是用户创建个性化3D游戏形象，并将捏脸形象运用在游戏中，提升用户的沉浸感。

照片捏脸技能指标

淘宝人生2的照片捏脸更倾向于第二个方向，为淘宝用户供应一个既像又美的数字分身，技能同学紧张的卖力的是“像”，美术同学卖力让形象更“美”。
那么如何设置一个可靠的技能指标去评估终极的效果有没有达到“像”的预期呢？经由团队反复的磋商与调研，淘宝人生2的照片捏脸采取了业界3D人脸重修领域常用的评估办法之一NME指标并结合主不雅观评测打分的办法评估3D数字人形象与输入图片的相似度。

▐NME指标

公式参考：

NME指标全称是normal mean error，该指标用来评估3D重修的人脸与真实人脸的重修偏差，业界评估基于图片重修3D人脸的NME常用的做法是将照片建模的3D人脸投影到2D平面上并打算该人脸轮廓关键点和用户照片的人脸关键点的间隔，来衡量捏脸的面部五官和输入照片的相似度。
这里的d一样平常取人脸框的对角线间隔。

NME越大，代表重修偏差越高。

▐真实人脸重修算法对应指标

真实人脸重修算法

评估指标 NME

3DDFA

3.78

3DDFA + SDM

3.43

BCLL

2.47

PRN

2.75

基于卡通形象的根本模型的3D数字人有一定的风格化特色，以是基于图片捏脸的卡通形象重建都会比真实人脸重修的重修偏差要高一些。

▐淘宝人生2捏脸采取的评估办法

NME指标 + 主不雅观评测打分评估3D风格化捏脸

淘宝人生2的照片捏脸采取量化指标加主不雅观评判的办法相结合，量化指标覆盖的只是人脸关键点部分的偏差，更侧重于“形”，在整体“神”的相似度上还须要结合不同的人的主不雅观打分来评估。

照片捏脸难点

▐超写实人脸重修

用户上传的是2D照片，如何把2D的人脸特色迁移到3D的人脸模型上

▐风格人脸重修

不但要映射到3D数字人的根本模型（简称基底）上还要有一定的风格化特色，比如说有些3D形象的根本模型是偏卡通的风格，或者是偏武侠的风格，如何保持全体基底的风格化同时又很像用户是全体项目的核心难点

▐离散属性匹配对相似度的影响

除了脸型轮廓鼻型眼型还有哪些特色会影响到像的评判？

--- 发型，眼镜，胡型等其他人脸属性都会对像有影响

做照片捏脸重修要办理的紧张难点有3个，第一个是如何将用户上传的2D照片的特色映射到3D人脸模型上。
第二个是不但要将2D人脸的特色映射到3D人脸模型上，还要基于该风格的卡通形象有一定的风格化特色同时不丢失用户的2D特色。
第三个是除了脸型以外如何通过其他面部非脸型属性去提升用户的重修数字人的相似度。

淘宝人生2照片捏脸技能框架

为理解决上述照片捏脸的难点，全体照片捏脸技能框架分为四个模块，预处理模块，面部人脸属性&非面部人脸属性模块以及数字人形象天生模块。

▐预处理模块

针对用户输入的图片进行合格性校验以及剔除敏动听物，同时会检测用户输入的人脸五官关键点以及发型的mask，为接下来的面部人脸属性模块和非面部属性模块供应有效信息。

▐面部人脸属性模块

为理解决难点一基于单张照片进行3D真实人脸重修的问题，淘宝人生2利用的是基于3DMM(3D Morphable Model)重修人脸的方案。

基于3DMM技能将2D照片转换到3D人脸的核心思想是任何一张3D人脸都可以由一张3D均匀人脸与一系列人脸正交基相加组合而成。
以是可以将基于单张照片重修3D人脸的问题转化为求解目标3D人脸投影到2D人脸上并通过迭代求解不断贴合输入2D图片对应的人脸正交基系数的问题。

3DMM人脸形状基底和纹理基底

3DMM求解过程

基于3DMM重修后的3D真实人脸的特色会通过图形学的变形操作迁移到淘宝人生2的3D卡通形象的根本模型上，这样就奥妙的办理了难点二的问题，既保留了用户特色又有了一定的风格特色。
但是由于图形学对人脸网格形变整体的耗时较慢，我们是利用一个MLP（多层感知机）演习了一个真实人脸系数到淘宝人生2捏脸系数的映射模型，提升了整体照片捏脸的性能，争取给用户带来更好的利用体验。

▐非面部属性模块

为了加强一些离散属性（一样平常眼镜类型，发型，眉毛种类以及胡型在捏脸系统都由一些离散的素材ID来表示，以是一样平常称为离散属性）的表达来提升整体的相似度，我们对用户的眼镜，发型，眉型以及胡型都进行了细粒度的分类，提升用户的非面部属性特色与捏脸系统素材的匹配度，终极使得整体重修的形象更加立体饱满。

▐数字人形象天生模块

通过上述模块得到的淘宝人生2捏脸系数，以及对应的素材ID会经由引擎渲染得到淘宝人生2的3D数字人形象。

这四个模块相互合营，终极实现了用户上传一张图片，一键定制用户的专属3D数字人的功能。
此外每个重修的3D数字人都带有用户的特色，达到了天生形象的千人千面。

照片捏脸效果

总结以及后续方案

当前算法仅支持女版的卡通形象，基于淘宝人生2的男版卡通形象的照片捏脸正在同步研发，期待后续尽快落地。
同时在眼型嘴型等五官细节拟合上仍须要提升，后续随着捏脸自由度的提升和算法的迭代会进一步提升这一块的相似度。

从友商的测试结果来看，受限于base风格的丢失，业界的大多数照片捏脸运用也无法做到对用户特色的百分百的还原，但是输出的捏脸形象都比较都雅，相信这也是经由了算法同学和美术产品同学的大量的联调得到了一个符合大众审美的捏脸形象，只有这样才能成功出圈，在用户侧打造很好的口碑。

淘宝人生2照片捏脸的迭代会延续既像又美的技能路线连续深耕，给用户带来更好的产品体验。
同时操持引入更多模态的捏脸支持，使得用户可以通过笔墨或者语音自由捏脸。

引用

[1] Blanz V, Vetter T. A morphable model for the synthesis of 3D faces[C]. international conference on computer graphics and interactive techniques, 1999: 187-194.

[2] Cao C, Weng Y, Zhou S, et al. FaceWarehouse: A 3D Facial Expression Database for Visual Computing[J]. IEEE Transactions on Visualization and Computer Graphics, 2014, 20(3): 413-425.

[3] Paysan P, Knothe R, Amberg B, et al. A 3D Face Model for Pose and Illumination Invariant Face Recognition[C]. advanced video and signal based surveillance, 2009: 296-301.

附：照片捏脸秘籍

项目入口：淘宝APP首页->下拉进入淘宝二楼->搜索第二人生->点击图标进入淘宝人生2的广场->点击底部换装tab进入装扮页进入照片捏脸页：在装扮页左侧切换到头部tab -> 点击右侧 智能捏脸 进入照片捏脸页面。
在照片捏脸页，选择拍照或从相册中选择照片，确定后触发照片捏脸。
系统会自动检测照片质量及合规情形，若两者都符合规范，则将基于照片天生新的数字人形象，并跳转回装扮页；如果有任何一项不符合规范，则会给出非常的提示。

作者:思远

来源:微信"大众年夜众号:大淘宝技能

出处:https://mp.weixin.qq.com/s/VAXAUYzdGPEgifJygO9WpA