UC Berkeley团队打通人类视频到机器人执行链路，让机器人从“看到”走向“做到”

【导语UC Berkeley团队提出的Do as I Do方法利用单目RGB视频将日常人类操作转化为Sharpa Wave可执行轨迹补上了类人灵巧操作从视频到机器人数据的关键链路有望解决机器人学习的数据转换难题。】Do as I Do补上类人灵巧操作数据链路人类学习灵巧操作往往从“看”开始而当前机器人学习更多靠“做”如遥操作、仿真执行等。YouTube等平台已有海量人手与物体交互的素材但关键在于将单目RGB视频转化为多指灵巧手能执行的动作轨迹。UC Berkeley团队跑通了从网络视频生成真实灵巧手实机执行轨迹的完整链路。三大难题制约机器人数据规模化要实现灵巧机器人数据规模化面临三个结构性难题。一是单目RGB视频中的手 - 物交互难以稳定重建真实场景视频存在运动模糊等问题现有跟踪方法存在局限性。二是带噪声的参考轨迹会让动作重定向失效之前的方法假设输入干净数据而网络视频重建的轨迹往往不干净导致优化失败率高。三是遥操作本身难以规模化成本高且难以覆盖海量人类视频。两阶段流程解决核心问题Do as I Do流程分两个阶段。阶段一用引导式扩散稳定跟踪物体先选定锚定帧固定物体形状后续帧的流匹配去噪过程让位姿采样结果靠拢还根据2D点跟踪估计的旋转速度自适应调整位姿在人工对比评估中表现优于FoundationPose。阶段二面向带噪声参考轨迹进行稳健动作重定向在SPIDER框架基础上加入三项设计将动作重定向成功率从25%提升到71%。实验成果与数据筛选要点该方法最终覆盖20类操作动作选取10项代表性动作在双UR3e机械臂 双Sharpa Wave平台上以50Hz完成实机执行动作覆盖多种物体形状和抓握方式。同时研究团队提醒不能盲目追求视频数量给出了数据筛选要点如检查手和物体是否在画面内等这将是打通“人类视频到机器人执行”流程的基础环节。编辑观点Do as I Do方法为机器人学习开辟了新途径利用海量人类视频数据有望推动类人灵巧操作的发展。不过仍需解决一些技术难题未来发展值得期待。