国内首款搭载鸿蒙操作系统的全尺寸人形机器人乐聚公司旗下的“夸父”(KUAVO)亮相2024世界人工智能大会,这款机器人是“盘古大模型+夸父人形机器人+开源鸿蒙系统”深度融合的产品,不仅能够实现全方位视觉感知,还具备跳跃能力,能够多地形行走。
夸父人形机器人是乐聚(深圳)机器人技术有限公司最新一代的人形机器人,发布于2023年12月,6月21日在华为HDC 2024开发者大会首度亮相。是国内首款可跳跃、可适应多地形行走的开源鸿蒙人形机器人。重约45kg,全身26个自由度,行走速度最高可达4.6km/h,可快速连续跳跃,跳跃高度超20cm,搭载自研一体化关节和深度摄像头,可实现全方位视觉感知。
夸父人形机器人是华为云与乐聚机器人战略合作以来取得的阶段性成果,目前已经实现人形机器人小样本下的泛化操作,在工业、家庭场景中展开测试,这一研究进展标志着人形机器人泛化能力显著提升,并打通了人形机器人通往AGI道路的最后一公里。
自2024年3月华为云与乐聚机器人达成战略合作后,双方针对“盘古具身智能大模型+夸父人形机器人”技术路线进行了深入探讨和论证。并在4月,通过拟定家庭、工业等场景中示范应用案例孵化为探索目标展开了集智攻关。目前,已成功打通了人形机器人从数据收集到云端训练,再到部署推理的整套工作流程,形成了一条完整的工具链。
在具身智能领域,大模型承担着三项核心职能:理解语意并进行判断规划、作为“老师”展示神经网络的规模效应,以及产生新的具身智能算法,如VLA(Vision Language Action),通过原生多模态大模型训练视觉、语言和动作。盘古大模型5.0基于可扩展的Diffusion Transformer架构,有效解决了动作多样性问题,并利用大规模开源数据集和仿真环境数据进行自监督预训练,对真实数据进行图像物体和背景增强,在新任务下实现高效微调,确保双臂协同和多任务并发处理的泛化能力。
目前,双方正基于华为云的算力和AI能力,赋能人形机器人大脑,同时基于乐聚本体设计和运动控制能力,对机器人小脑和肢体的研发工作展开持续攻关。双方的目标是开发出一系列高效的pipeline,打造出可复制且广泛适用的人形机器人产品及具身智能整体解决方案,并共同构建人形机器人的标准数据集、系统和工具链。