上科大提出SCULPTOR：从骨头开始捏脸更靠谱｜SIGGRAPH Asia 2022

大家好，欢迎来到IT知识分享网。

编辑：好困 LRS

【新智元导读】掀起你的头盖来，让我来为你捏个脸…

看人先看脸，不同的人脸往往会给我们留下不同的印象，像蒙娜丽莎圆润的脸颊会让人感受到母性的光辉，而蝙蝠侠面具下坚毅的下巴则透露着浓烈的男子气息。

这些独特的面部特征让每个人都拥有一张独一无二的脸，给观者带来多样化的感受。

设计游戏角色时同样如此，一张根据角色性格塑造的带有鲜明面部特征的脸更有助于玩家感受角色的气质与魅力。人的面部外观需要符合生物力学，抛开生物力学合理性构造的脸注定是不真实甚至扭曲的。

而面部外观在生物力学上与骨骼结构有关：骨骼在拉力作用下生长，在压力作用下吸收；因此，面部肌肉往往与头部骨骼相匹配，从而形成独特的轮廓和特征。

骨骼对于人脸构造的重要性使得人脸生成器(Generator)既要符合解剖学(Anatomically consistent)，更要能提供易于控制面部骨架结构的方法。

传统方法无法通过人脸数据对人脸骨骼进行建模, 而基于艺术家的建模方式又无法获得真实的头骨与脸部外表面之间的联系。

针对这一问题，上海科技大学、上海市第九人民医院与数字人底层技术公司影眸科技合力构建了一个同时对脸部外表面与内部头骨建模的系统，构建出符合解剖学规则的参数化(Parametric)人脸生成模型SCULPTOR，该模型可以为角色设计出高颧骨、长下巴等脸部特征。

SCULPTOR已经被计算机图形学顶会SIGGRAPH Asia 2022接收为Technical Paper – Journal Track并受邀作报告分享。

据影眸科技科研人员介绍，这项工作是影眸在解剖学正确角色生成方向上的一项重要工作，将被应用于数字人创作、整形预测等多个方向，为文化娱乐与医疗美容行业提供技术解决方案。

论文地址：https://arxiv.org/abs/2209.06423

LUCY数据集

SCULPTOR项目收集了72个正颌手术(Orthognathic Surgery)患者手术前与手术后(Pre-, post-operation)的计算机断层扫描(Computed Tomography)数据,并且利用该数据集构建了对头骨、脸部形状和脸部外观进行联合建模的新型人脸生成器。

为了对比观察正颌手术效果，每位患者都接受了两次CT扫描。这些患者手术前和恢复期间收集的医学图像清楚地描述了面部骨架变化对面部外观的影响。这些计算机断层扫描影像数据被称为LUCY数据集，以最著名的人类早期祖先、迄今为止发现的第一只澳猿LUCY的名字命名。

医学专家用阈值法从原始CT数据中分割出头骨和面部以获取解剖结构,并选择了29个头骨和15个脸部生物学意义标记,帮助构建并配准模型。

训练SCULPTOR模型

该论文首先利用生物学意义标记导向的能量函数、倒角距离能量函数和离散拉普拉斯平滑项，将模板模型配准到每一个头骨与脸部，从而得到拓扑一致的网格模型。

SCULPTOR模型的训练是通过在LUCY数据集与FaceScape数据集上迭代训练后解耦出的控制骨骼与脸部整体大小的形状子空间，下颌运动时网格顶点修正位移的动作子空间，控制人脸表情的表情子空间与控制骨骼局部大小长短与其对应脸型变换的特征子空间。

本论文工作在FLAME模型的基础上提出了参数化脸部的形状、动作与表情控制,引出了基于LUCY这个正颌手术术前术后的新数据集的全新控制脸部的特征子空间(Trait components)。

因为正颌手术是对人脸面部骨骼局部区域切割、拼接、垫高等手术方法改变骨骼形状，从而得到患者期望的脸型，术前术后的影像数据包含头骨与脸型的对应关系。

因此该论文在训练模型过程中，将同一个患者的正颌手术前后医学影像数据在经过中立面孔化后差分得到解耦后的特征顶点位移。

通过主成分分析法(Principal Component Analysis)获得特征子空间，让模型学习改变面部骨骼后，对应的脸部形状变化，建立骨骼与面部形状的对应关系。

为了让模型最终学习人脸与骨骼的形状子空间、动作子空间、表情子空间、特征子空间，以及表皮权重(Skinning weight)。

该研究旨在让SCULPTOR分别在LUCY数据集上训练形状参数：形状子空间、特征子空间。在含有动作的FaceScape数据集上学习动作子空间与表皮权重。通过在两个数据集之间循环迭代的方式减少重建误差的方式最终让模型收敛。

从SCULPTOR的平均模板开始，通过调控形状子空间的系数，使脸部形状发生变化。然后控制特征子空间Trait Component的系数，在局部形状细节上进一步修改模型，为生成的脸部增加更多的特征，如更高的颧骨、更弯曲的下颌，甚至是下颌骨突起。

SCULPTOR合成了一个具有长方形下巴的男人。之后，我们继续添加面部外观、姿势和表情参数，生成一张嘴巴张大的脸。最后通过Blender Cycles渲染引擎与高分辨率的环境纹理来渲染最终的图像。

下图中展示了SCULPTOR生成人脸过程。

古学复原人类骨骼

考古发掘很难同时找到头骨样本的上颌骨与下颌骨，而SCULPTOR模型能够根据已有的残缺样本推测头骨的可能缺失部分并且根据Trait子空间给出不同特征的脸型，从而帮助考古学复原人类头部骨骼。

研究人员在实验中采用的是一个拥有4200年历史、被称为Ava的上颌骨头骨，它在1987年于苏格兰凯斯内斯被发现，SCULPTOR通过给定的上颌骨头骨给出了多个不同特征的复原形象。

角色融合

同时，SCUPTOR能根据每个真实角色的不同脸部特征来生成同时拥有不同特征的人脸。

两个版本的蝙蝠侠的扮演者——本·阿弗莱克与克里斯蒂安·贝尔分别拥有不同的脸部骨骼。

通过SCULPTOR的回归得知，贝尔有一个较短的上颌而有一个长下颌，而阿弗莱克有一个短且圆的下颌与一个长上颌。

给定贝尔的下颌与阿弗莱克的上颌信息，SCULPTOR便重新生成了一个全新的、同时拥有两者的特征的「蝙蝠侠」人物 。

重建RGB图片数据骨骼

作为一个参数化模型，SCULPTOR可以被作为一个可微分的网络层去回归照片中人物的骨骼。

通过结合DECA模型与SCULPTOR模型，给出了各个不同明星下颌骨。

脂肪层构建与打击仿真

SCULPTOR也能构建同一个人不同胖瘦时期的面部脂肪分布。

假设同一个人在不同时期的头骨不变，SCULPTOR便可以通过脸部点到骨骼点的距离计算脂肪分布权重，再依据脸部胖瘦程度与差值计算出的脂肪增长趋势，从而同一个人生成不同胖瘦时期的人脸。

而SCULPTOR在骨骼的支持下, 击打脸部的仿真效果比不增加骨骼的击打效果更好。

总结

本项目提出了SCULPTOR，一个基于解剖学数据的骨架一致的人脸生成器，它对头骨、脸部几何形状和脸部外观进行联合建模，允许高质量和有特色的面部细节生成。

通过这项工作，仅通过一张照片/一个人脸模型即可推测角色骨骼形状，并以此为依据进一步调整角色相貌；反之，它也可以根据骨骼形状推测角色的相貌，做物理模拟、甚至将两个角色融合…

该技术将被应用于数字人创作、整形预测等多个方向，为文化娱乐与医疗美容行业提供技术解决方案。未来，项目组将继续在解剖学正确的数字角色生成与驱动方向发力。

参考资料：

https://arxiv.org/abs/2209.06423