王程教授团队在激光雷达人体动作和场景捕捉领域取得新进展

近期，我校信息学院王程教授和温程璐教授团队，在激光雷达人体动作和场景捕捉领域取得重要进展，相关研究成果以“HiSC4D: Human-centered Interaction and 4D Scene Capture in Large-scale Space Using Wearable IMUs and LiDAR”为题发表在IEEE Transactions on Pattern Analysis and Machine Intelligence（DOI: 10.1109/TPAMI.2024.3457229）。

为适应开放的城市环境，智能体需要实时捕捉周边人群的肢体动作和场景的结构。基于惯性传感器和相机的传统感知手段，分别存在长时间数据漂移和对光照及环境动态变化敏感等问题，难以满足智能驾驶、服务机器人、体育训练等应用领域对复杂环境人体动作和场景捕捉的需求。自2022年起，王程教授和温程璐教授团队在国际上首先提出了激光雷达（LiDAR）人体动捕技术（LiDARCap, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023）。在本次发表的成果HiSC4D中，团队突破了在大规模室内外开放场景中，捕捉第一人称视角下的多样化双人交互动作和三维场景的方法。该方法通过融合惯导和激光雷达数据，构建了多阶段联合优化框架，有效解决了惯导带来的漂移问题，并显著提升了场景重建精度，扩展了空间、人体动作和互动捕捉的范围。同时发布了首个多模态双人交互数据集，涵盖不同场景类型和多样化人体动作，为相关研究领域提供训练数据资源。HiSC4D技术以激光雷达为核心传感器，同时重建人体动作和三维场景，为具身智能走向广阔户外、融入人群开辟了新的思路。

该论文由戴雨笛博士生、王志勇硕士生、林希平硕士生在温程璐教授、王程教授、沈思淇副教授、上海科技大学许岚研究员、马月昕研究员共同指导下完成。该研究工作得到了国家自然科学基金项目（62171393）等项目的支持。

论文链接：https://ieeexplore.ieee.org/document/10670484

（信息学院）

标签：数据  教授  人体