返回研究与动态

首席科学家 Taku Komura 获 SIGGRAPH 时间检验奖

论文《A Deep Learning Framework for Character Motion Synthesis and Editing》获奖。这项工作第一次用深度学习从大规模人体动作数据中学习运动结构,这条路线一直延续到我们今天做的人类交互先验和世界模型。

SIGGRAPH 2026 时间检验奖颁奖现场,获奖论文作者在台上合影。

Miro Dynamics 首席科学家 Taku Komura 教授获得计算机图形学顶会 SIGGRAPH 2026 颁发的时间检验奖(Test-of-Time Award)。这个奖项表彰十年前发表、至今仍对业界产生持续影响的论文。今年获奖的,是 Taku 教授与团队成员在 2016 年发表的《A Deep Learning Framework for Character Motion Synthesis and Editing》。

这项工作首次用深度学习从大规模人类动作数据中自动学习人类运动的内在结构,再根据高层指令生成自然的人形角色动作。当时 AI 的突破还主要集中在图像领域,这项工作已经系统地把表示学习用于复杂 3D 动作的生成,让 AI 从学会“如何看”走到学会“如何动”。

十年之后,这项工作的意义已经超出角色动作生成本身。机器如何从人的运动与交互中学习、理解物理世界并在其中行动,正是物理 AI 面对的核心问题。

二十年,让身体成为一种可计算的语言

Miro Dynamics 首席科学家 Taku Komura 教授。

围绕这个问题,Taku Komura 已经做了二十余年。他曾长期执教于爱丁堡大学,2020 年加入香港大学担任计算机科学系教授。他是 SIGGRAPH Asia 2025 大会主席,被 AI 2000 评为该领域全球前 15 名的最具影响力学者。

他想让机器从数据中学习人类运动的结构,并进一步理解动作如何随场景、物体和任务而变化。从 2016 年的获奖论文开始,他带领团队沿着“身体、物体与环境交互”这条主线,做出了一系列突破。

2016 年的奠基性工作,用自编码器从海量动捕数据中提炼出低维运动空间,首次确立了“人类运动先验”(Human Motion Prior)的概念,让系统学会生成自然的人体动作。

随后,团队开始把动作放进复杂场景。2019 年的 Neural State Machine 让数字角色能根据场景几何自主完成坐下、搬运和避障;2020 年的 Local Motion Phases 攻克了多接触点和全身协调的物理交互难题。

2022 年,团队凭 DeepPhase 拿下 SIGGRAPH 最佳论文奖。这项技术用周期性自编码器,从未经清洗的原始数据中自动提取多维相位空间,解决了动作在时间维度上的连贯性问题。

这一系列研究最终汇聚成开源项目 AI4Animation。该项目在 GitHub 上已获得超过 8,000 个 Star,是动作生成领域最具影响力的开源生态之一。

2016 年至今的研究时间线,四个阶段各自的代表工作与奖项。
从运动先验到人与场景交互,再到人类数据驱动的真实机器人。

人类交互先验模型,为什么对具身智能重要

把这条主线串起来,是一个完整的人类交互先验模型:先学会表示人类在真实世界的自然运动,再学习人与场景、物体和任务如何发生交互,再把真实接触、受力与环境变化纳入模型。

这条路线对物理 AI 的意义,正在被机器人行业验证。真机遥操作采集成本高、场景窄,动作也不自然,靠它撑起通用能力并不现实。机器要学会在真实世界里做事,更可行的来源是人自己的日常操作。

但人的数据不是采下来就能用。要采得足够多,硬件必须便宜到可以铺开,而低成本传感器噪声大、信息缺失。人类交互先验模型正好补上这一环:它知道什么样的姿态和时间变化属于自然的人体运动,能把残缺的信号补齐,再约束回真实的人体运动。

依托这套先验,团队现在用消费级设备(例如一台 iPhone)就能完成采集与重建,得到人手、物体和场景在同一世界坐标系下的 3D 结果。采集成本降到过去的几十分之一,在第一人称手部重建的公开评测上误差降低 60%。

这套管线的价值不止于降低采集成本,它指向一个判断:具身智能的下一个突破口,会出现在消费级场景而不是受控环境。家庭整理、厨房操作、日常物品交互——这些场景数据量巨大、离散,边际成本极低,却因为动作精细、接触关系复杂,此前始终缺乏可规模化的高质量数据来源。

这条技术路线把消费级设备拍下来的真实生活操作,变成物理上成立的训练数据。具身智能与世界模型的规模化落地,会从工厂产线走进真实生活。

人类原生的多模态世界模型

采到数据只是第一步。行为克隆能让机器模仿示范动作,但要在真实世界里行动,机器还得知道一个动作会带来什么结果,以及结果背后的物理规律。团队正在做的,是一个用人类原生数据训练的多模态世界模型。

现有的具身数据范式,不论是第一视角视频、UMI 还是机器人遥操数据,都只包含视觉和动作。但同一段看起来相近的动作,背后的接触过程和操作结果可能完全不同;只依赖视觉与轨迹,模型很难区分这些差异。

团队的做法是以人的原生操作数据为基础,把这些信号补齐。采集设备做成人可以直接穿戴的形式:第一视角相机记录看到的画面,重建出的 3D 状态区分相机运动与真实环境变化,眼动记录视线的注意对象,肌电记录发力与接触。人只要照常完成日常操作,就能得到时序对齐的多种模态信息。

从第一人称、第三人称、肌电和文本指令输入,经人类交互先验模型,输出重建、生成与人形机器人执行结果。
人如何与世界打交道,经过人类交互先验模型,变成机器可以继承的世界经验。

这也改变了世界模型要预测的目标:不再只是下一帧像素,而是物理状态会怎么变——物体的 3D 状态、接触的位置、受力的大小。对机器人真正有用的判断是“这样推会不会倒”“这个力够不够拧开”,这些才构成机器眼中的世界状态,而不是一堆像素。

以人为中心的数据不是终点。人能示范的经验总有边界,机器人迟早要面对没有人做过的任务。我们希望机器人把人类经验学到手之后,能在自主行动和探索中继续积累对世界的感知与行为经验,逐步具备自我探索和自主学习的能力。今天这套以人为中心的范式,是在为那一步打基础。

物理 AI 面对的是机器人如何适应未知环境、如何从有限交互中学习新技能。这些问题不能只靠公开数据集或一次性实验,需要长期采集数据,在真机上反复测试,并根据真实任务持续调整——也因此需要与产业界深入合作。

从理解动作,到理解世界

在爱丁堡大学任教多年后,Taku 选择在中国香港继续自己的研究,并在近期联合创立了 Miro Dynamics。他认可在中国推进这项工作的价值:相关领域学术活力强,产业落地场景多,为物理 AI 研究提供了丰富的实践条件。

接下来他要推进的是物理 AI 更根本的目标:让机器人形成对物理世界的内部表示,在真实交互中理解身体、动作与物理规律,并获得能够跨机器人、跨任务和跨环境迁移的行为智能。多模态的人类原生操作数据,是进入这个目标的入口。

时间从不为任何人停留,但时间会奖励那些真正理解它的人。