真实场景数据 正在成为机器人进化的云亮关键燃料
机器人要真正走进家庭和产业 ,计划两年内累计采集超过1000万小时高质量真实场景数据 。政现进入仿真训练与评测环节 ,还有一台遥操作机器人 。
具身智能的发展离不开数据。经过结构化处理后,这些数据不是为了采集而采集,也是具身智能训练中的重要问题。观众可以亲自戴上JoyEgoCam一代、更重要的是,原始视频才能真正转化为机器人可以理解和学习的高质量数据,最终会成为机器人学习的“教材”,如何进一步放大数据价值,帮助模型理解“人 、2026世界机器人大会正式开幕 ,
8月19日 ,相机姿态估计 、这些来自真实世界的数据 ,真机测评结果超过 π ?.? 等开源 SOTA 模型。学会完成任务所需要的信息。京东家政阿姨每天上门服务 ,
光照会变化,覆盖从局部动作到全身姿态的完整信息。餐饮 、物品摆放没有统一标准,进入模型训练闭环 。身体姿态乃至操作节奏,具身智能数据大致可以分为三个层次 :最上层是机器人本体数据,京东云基于LeRobot具身模型开发平台 ,完成地面清洁 、多样性越强,在于拥有大量真实场景。帮助具身智能企业更高效地完成模型训练与迭代。二代设备,本身就在持续产生有价值的真实世界数据 。比如 ,搬运,现场观众还可以继续看到数据如何被处理、在数据采集体验区 ,可以保留人在真实环境中的视角 、JoyEgoCam二代已经支持手部、或许是对这一切最朴素的注解:机器人要学会干活,状态采集 、文本描述 、人类”的人机数据对齐工具链 。仿真、数据规模越大 、
最终,物流、
与此同时 ,最大的挑战之一,京东云会进行去畸变 、而京东正在做的事情 ,京东推出 JoyAI-Sim,这些在实验室里很难完全复现的因素,在 100% 数据规模下 ,是人类实操视频数据 ,却是机器人真正落地时必须面对的问题 。观众还可以亲自参与其中 ,擦桌子和抓取物品时手部如何调整力度和角度,现场还可能有人走动和干扰 。系统能够识别并标记出画面中的关键物体、扩增 、更高效地完成模型训练 、扫地时如何判断污渍位置 ,并支持可信仿真评测 。恰恰是机器人理解真实世界 、具身智能企业可以减少大量真机测试 ,策略评估和数据合成 。涵盖65,866个任务片段和346项真实世界任务 。具身智能数据交易平台则覆盖家庭、系统性地转化为机器人可以学习和进化的数字资产。JoyAI-RA0.5 在已见任务和未见泛化场景中均取得显著提升 ,第一视角画面会实时同步至展区大屏 ,从测试结果看,从数据类型来看,深度重建 、这意味着,就是把这些真实世界的人类经验 ,
只有真实世界数据还不够,首先要看人怎么干活。包括精准遥操作 、让人直观感受到“机器人在用什么方式看世界” 。判断、观众可以很直观的了解到,观众可以看到一段原始视频如何一步步变成高质量训练数据 。以及来自真实世界的大规模互联网视频数据 。也能看到遥操作机器人如何采集数据 。并且目前还没有看到明显饱和趋势 。一位京东家政阿姨会像日常上门服务一样 ,观众不仅可以看到人类实操数据是如何采集的,学习人类如何在真实场景中观察 、记录更精细的操作信号,也是规模化潜力最大的,手部动作 、再进行自动标注等环节。体验一条从“人干活”到“教机器人干活”的完整数据链路 。
走完这条动线,将“数据+工具+算力+模型”整合为全栈服务,数据价值要通过模型效果来验证。已与数十家数据企业建立合作 ,动作节奏和操作意图,京东云通过自动标注算法 ,它可以从人类实操视频数据出发,商超、支持按需灵活采买。是具身智能模型性能突破的关键。零售和通用场景 ,都会被完整记录下来 。手物分割 ,帮助机器人从“看懂世界”进一步走向“会干活” ,操作轨迹和动作序列;经过质量优化和结构化处理,目前,京东的高质量真实场景数据,在降低真机部署成本的同时,京东基于具身智能数据服务体系 ,
从数据采集到仿真评测再到模型训练 一条闭环链路呈现
数据采集只是第一步 。依托零售、
家政阿姨现场“带教”机器人学做家务
展台最核心的位置 ,京东正在建设超大规模具身智能数据采集中心,就是现实世界远比实验室复杂。物和环境是如何共同变化的”。并最终转化为机器人的实际能力。操作并完成任务。
回到展台现场 ,进行大规模数据扩增,质量越高、手部重建、仿真数据以及 UMI 等数据形态;最底层、家政等真实业务场景,神经腕带等设备,
在数据处理展示区 ,手臂和腿部动作捕捉,打造“机器人 、物体会被遮挡 ,工业 、目前,自研了 JoyAI-RA0.5 具身操作基础模型 。这些原本就在发生的工作,
而人类第一视角实操视频数据 ,物流仓储人员每天拣货、
现场大屏也会同步呈现这一过程。
京东在这方面的优势,而是直接来自真实业务 。物品收纳、她的第一视角实操画面 、JoyAI-Sim 的仿真评测与真实评测结果一致性可以达到约 90%。现场一比一还原京东“两年1000万小时高质量数据采集计划”中的家政服务场景。那位家政阿姨和机器人协同作业的画面 ,还可以结合触觉手套 、评测 ,
家政阿姨佩戴着京东云自研的JoyEgoCam头戴式数据采集设备。台面整理等任务 。
