阿里巴巴推出新技术TaoAva
阿里巴巴集团研究团队近期推出了一项具有革新意义的技术——TaoAvatar，该技术致力于重塑增强现实（AR）体验。通过构建出照片级逼真的3D全身虚拟人，TaoAvatar 让数字世界的互动变得更加生动、自然，为用户带来前所未有的沉浸式感受。
TaoAvatar的核心优势在于能够创造出与真人极为相似的3D虚拟形象，且这些形象并非仅仅用于静态展示。在AR场景中，它们可以实时对话，展现出丰富多样的表情和动作。为了达成虚拟人的生动表现，TaoAvatar深入研究了面部表情和身体动作的控制。借助先进的 Audio2BS 模型，虚拟人的面部表情和手势能够依据语音内容精准地动态生成，实现口型、表情以及动作的完美同步，这让虚拟人在交流过程中显得自然流畅，充满情感与生命力。
在流畅性层面，TaoAvatar采用了创新的3D高斯溅射（3DGS）技术，以此确保高质量的实时渲染。即便是在像Apple Vision Pro这样的高清立体显示设备上，也能维持每秒90帧的流畅运行，从而为用户呈现出平滑自然的虚拟人动作和交互体验。不仅如此，TaoAvatar还具备低存储需求以及出色的跨平台兼容性，能够轻松部署在各类移动和AR设备上。
为了实现高性能和低资源占用的目标，TaoAvatar团队运用了多种先进技术。例如，构建个性化的服装扩展 SMPLX 网格；利用教师网络学习复杂的姿态相关非刚性变形，并借助知识蒸馏技术将其优化至一个轻量级的MLP网络中。同时，团队还开发了可学习的高斯混合形状来强化外观细节，进一步提升虚拟人的真实感。
