第 8 章 数据¶
这两年具身领域里最贵的东西不是 GPU，是数据。一个 100 人量级的 teleop 工作室，一年耗去一千万美元，最后训出来的 VLA，却把人类操作员所有的肌肉抖动、临场犹豫，连同对某一类物体莫名其妙的偏好，原原本本全学了进去。这一章讲这件事为什么会发生，讲五种数据来源各自要付的代价，也讲怎么把它们混在一起用。
2025 年中，湾区做家庭机器人的初创公司里总有这样一处典型场景：带客人参观时，第一样端出来的不是机械臂，而是一间 800 平米的仓库。仓库里整整齐齐排着 60 个 ALOHA 工位，每个工位上都坐着戴 VR 头盔操作的工程师。墙上挂着电子屏，实时滚着当天的目标条数和当前进度，望过去就像一间电商客服中心。
这笔账明着就能算出来：单是工位上的人力开销，一年就得花掉 1200 万美元。硬件折旧、数据存储和训练成本，还都另算在外面。
三个月后，这版 VLA 出来了。它在演示集上的成功率漂亮得无可挑剔。可一旦把它放进真实、稍显杂乱的厨房里抓杯子，机械臂在伸手之前硬生生停了 0.4 秒，跟着又停了 0.3 秒，像在犹豫。这恰恰是 60 个操作员里半数人在面对陌生目标时都会冒出来的迟疑，被模型一字不漏地全学了进去。
模型还学到了另一件事：每当杯子的把手朝向不顺手，操作员的手腕就会做一个特定的、略带扭曲的旋转动作。可这个动作由关节结构与人类完全不同的机器人手腕做出来，看起来就像帕金森。
这是 teleop 数据的第一个真相：它不是物理世界的客观采样，只是一群特定的人在一段特定时间里，用一套特定的接口操作出来的动作轨迹。VLA 学不到“怎么做这个任务”，它学到的，自始至终都是“那群人当时是怎么做这个任务的”。
先把手头的数据来源摊开。这两年具身领域能用的数据，大致跑不出五类：
Teleop（teleoperation，遥操作：人远程实时驱动机器人）。人戴着 VR 或者操纵 leader-follower 装置（拿一只小臂当摇杆，操作员手握着它，远端的真臂同步跟随）去远程控制机器人，记录下每一步的动作与图像。长处是动作标签干净、跟硬件完全对齐，还能拿到接触瞬间的精确扭矩。短板则是动作慢、开销贵、带着操作员的个人偏见，况且要是演示者自己都不会做，teleop 也拿不出数据。
Play 数据。Lerrel Pinto 这一派推得最卖力。机器人或者人在环境里不带明确目标地随手探索，把所有交互过程记录下来。成本确实便宜得多，可是数据标签太弱，必须靠后期的 hindsight relabeling 重新打标，才能转成模型能吃进去的形式。
视频示范。用第一人称视角拍下人类双手的操作画面，虽然缺了动作控制标签，却留下了清晰完整的视觉轨迹。UMI 这类手持夹爪装置，就是沿着这条路走出来的工程化产物。
Internet 视频。像 YouTube、TikTok 还有 Ego4D。这类资源在网上多得取之不尽，只是拍摄视角杂乱，全然没有动作标签，人手与机器人手末端的 morphology 更是两回事。
合成数据。靠仿真器直接渲染，或者先用 LLM 编出任务再扔进 sim 里去跑。成本低到几乎等于免费，只是那个巨大的 sim2real gap 怎么跨过去，就得留到别处细说了（见第 7 章）。
每一类数据真正的代价往往不在采集的那一刻，而在于它到底能让模型学到什么。下面逐一细说。
这两年在 Teleop 硬件选型上，唱主角的基本上就是六条路线。
ALOHA。Stanford 的 Tony Zhao 和 Chelsea Finn 在 2023 年拿出了这套双臂 leader-follower 装置。结构说来简单：两只小机械臂作 leader，操作员手握末端操纵，两只真正的机械臂作 follower 同步跟随。它便宜（一套 5000 美元）、容易复刻，双臂同步做得扎实，这两年学术界有一半的 teleop 数据全靠它收上来。后来 Mobile ALOHA 把它装上轮式底盘，有了边走边操作的能力；Bunny ALOHA 则是腾讯做出来的小型化版本。但 ALOHA 最大的软肋在硬件绑定：leader 臂和真臂的自由度必须严丝合缝，换一台构型不同的机器人，手头的数据基本就跟着报废了。
UMI（Universal Manipulation Interface）。Cheng Chi 在 Stanford 做出的一套手持夹爪，前端挂着鱼眼摄像头，底下连着被动夹爪，操作员直接拿着它在真实环境里做动作演示。它把数据采集完全从机器人本体上解绑了出来。最大的好处是便宜到难以置信，一个工程师在自己家里一天就能录下 200 条演示；短板则是没有力反馈，缺了关节数据，得靠复杂的视觉重投影把轨迹映射回机器人的坐标系里。2024 年底面世的 UMI on Legs 将它延伸到了四足平台，证明了这套采集接口确实能跨形态使用。
Gello。Berkeley 的 Philipp Wu 等人做出来的低成本 leader 臂，说白了就是一个 3D 打印的关节外壳，关节轴里塞进编码器。它比 ALOHA 更便宜，照着图纸自己攒一套花不上 300 美元。只是在操控精度上，确实比 ALOHA 低了一档。
Apple Vision Pro 这条线。UCSD 和 MIT 联合推出的 Open-TeleVision 是代表作，利用 Vision Pro 的手势追踪和立体显示，直接遥控远处的双臂机器人。整套系统的沉浸感极好，操作员几乎不需要适应期就能上手。但 Vision Pro 毕竟是闭源生态，很难拿来做严肃的工业部署。Optimus 内部也有一套思路相近的自研装置，只是始终没有对外公开。
XELA / Touch 那一路触觉。严格说来这算不上独立的遥操作硬件，而是挂在末端执行器上的传感层。GelSight、DIGIT 这类视触觉传感器近来开始进入 teleop pipeline，让 VLA 第一次摸到了“抓握力道该有多大”这层信息。不过触觉数据的体量实在太小，离训练出通用泛化策略还差得很远。触觉领域在 2026 年依然在等一个属于自己的 ImageNet 时刻：必须等到一份公开、庞大、覆盖多种任务的视触觉数据集真正落地，带触觉感知的 VLA 才会真正起飞。在那一天到来之前，每家硬件团队不过是在各自闭门造车，重复采集着同质化的数据罢了。
到了 2026 年，这五条路线依然各有各的拥趸。学术圈唱主角的依旧是 ALOHA 和 UMI，工业界则大多倾向于自己从头造轮子。选型 teleop 装置时，头一个该问的问题从来不是“哪个方案最新最酷”，而是“这套设备采回来的数据，以后能不能换到别的硬件上接着用”。你今天用 ALOHA 辛辛苦苦采了两万条轨迹，三年后换了一台自由度不一样的机械臂，旧数据就只能彻底扔掉。这不是危言耸听，过去两年湾区好几家公司就真真切切地踩过这个坑。
这两年真正成规模的公开数据集，盘点下来就那么几个。
Open X-Embodiment / RT-X（Google + 60 多家机构 2023-2024）。涵盖 22 种机器人形态、160 万条 trajectory、527 种技能，是迄今为止规模最大的多机构 cross-embodiment 数据集。但它终究只是一堆散落数据的合集，称不上一个规范的数据集。不同机构采集时采用的格式、相机内参、动作空间与采样频率五花八门，必须做大量烦琐的 normalize 才能塞进同一个模型里训练。RT-X 自己的论文证明了这件事确实能跑通，但只要你想拿去开发真实产品，就得老老实实自己重洗一遍。
DROID（Stanford 2024，Sasha Khazatsky 等）。集合了 13 家合作机构的力量，包含 76000 条演示、564 个场景与 52 个不同建筑。它彻底统一了机械臂硬件（Franka FR3）和采集接口（Oculus Quest 2 teleop）。这是目前单一硬件平台上规模最大的公开数据集，数据本身的干净程度比 RT-X 高出整整一截。
RH20T（清华 Hao-Shu Fang）。囊括了 147 种任务、超过 11 万条人机协同的 trajectory，最大的特点是多模态并进：视觉、接触力、音频和语言指令全部同时采集。面对插拔接口、拧瓶盖这类对触觉要求极高的精细活，它的适用性要好得多。
AgiBot World（智元 2024 末）。坐拥 100 万条以上的演示轨迹，号称目前公开体量最大的开源具身数据集。但这批数据全部是用智元自家的人形机器人采集的，你拿到手能榨出多少价值，全看你下游运行的硬件跟智元长得有多像。要是两边硬件形态隔得太远，这一百万条数据能帮上你的地方，其实比你预想的要小得多。
BridgeData V2（Berkeley 2023）。包含 60096 条 trajectory，分布在 24 个真实环境里，聚焦于厨房与家居场景。这是早期被各家团队拿来“练手”最频繁的数据集。尽管总量上如今已被 DROID 超了过去，但它在场景丰富度上依然称得上是一大长项。
挑数据集时主要看这么几项指标：单一硬件还是混合硬件、场景多样性、任务标注的颗粒度、是否带有语言指令，还有采样频率。五项里头，前两项最要紧。一个包含 50 万条单一硬件的同质数据集，拿来训练通用泛化模型，效果往往远不如一份 5 万条跨越不同硬件与多样场景的异构数据。
这两年具身领域里，cross-embodiment 恐怕是被最乐观对待的一个方向。
它的直觉逻辑听上去极具吸引力：在 ALOHA 上收来的数据，理应能顺带着帮我训练 Franka、UR5 或者 Kinova。但现实是，眼下还没有任何一篇 paper 能给出让人彻底放心的实打实证据。
Octo（Berkeley 2024）和 CrossFormer（Berkeley 2024）代表了两次最严肃的探索。两套工作都采用 transformer 将不同机器人的 observation 和 action 映射到一个共享的 token 空间，最后由一个统一的 universal head 输出控制动作。Octo 联合训练了 9 种 embodiment，CrossFormer 更是把单臂、双臂、轮式和四足平台统统塞进了同一个网络架构里。
实测下来的结论非常明确：联合训练确实能略微改善每个 embodiment 自身的 in-distribution 表现，可一旦尝试 transfer 到某个完全没见过的全新 embodiment 上，系统几乎完全失效。换句话说，把不同来源的数据混着训不至于让模型变笨，但也从来没有出现过“某种通用具身先验”这种神话般的效果。
这件事最根本的难处，在于动作空间的物理意义完全对不上。一个 7-DoF 机械臂的 joint 6 旋转 0.1 rad（弧度，约 5.7 度），换到另一个 7-DoF 机械臂上把 joint 6 也旋转 0.1 rad，在世界坐标系里走出来的 end-effector（机械臂最末端工具的位姿）轨迹全然是两码事。网络想学会这层映射，唯一的办法就是给每一种 embodiment（具身形态：哪种机械臂、几个关节、装在轮式还是双足）喂入更多演示数据，没有任何捷径可走。
到了 2026 年，业界的实际情形很清楚：没人真信 cross-embodiment 能省下数据，凡是做产品的团队，终归得在自己的硬件上老老实实从头采集。拿混合训练做 pretrain、在自有硬件上做 fine-tune，算是一条走得通的折中路线。Octo 与 CrossFormer 这一路探索真正的贡献，在于给出了一个可以共用的 visual backbone，而不是许诺什么“通用 action head”的神话。把它们当 ResNet 用，别当 GPT 用。
学术界还有一种乐观的声音，以为只要把动作空间统一到末端 SE(3) pose 而不是 joint，cross-embodiment 的难题就能迎刃而解。这种推断漏算了一点：就算末端 pose 走的是同一条轨迹，不同机器人的可达性、关节奇异性与惯量分布也全不相同，底层的控制层做出来的动作大相径庭。动作空间的 mismatch 只是浮在面上的麻烦，背后真正横着的是机器人物理特性的不一致，单凭某种 representation trick 根本绕不过去。
主张采集 play 数据的那一路，Lerrel Pinto 推得最坚决。背后的道理很直接：teleop 太贵，不如放手让机器人在环境里随处探索，事后借由 hindsight relabeling，把“这条 trajectory 最终做成了什么”拿来充当 label，再回头训练一个 goal-conditioned policy。
在 2022-2023 年的几篇论文（PLAY、LATTE 等）里，这条路子初看满是希望。可真放到工业场景里摸索了两年，大家的判断渐渐落了地：play 数据拿来做 pretrain 确实管用，要拿来顶上主力数据的大梁却远远不够。
原因并不复杂。在收集来的 play 数据里，机器人绝大多数时候都在做毫无意义的动作，真正碰巧完成有用任务的片段，可能只占 10%。剩下那 90% 的数据喂出来的策略，动作总带着乱动的底色，根本达不到下游任务要求的精度。要是把同样多的小时数花在 teleop 上，真正管用的信号密度要高得多。
play 数据真正该放的位置，本该是在大规模 teleop 之前充当数据增广。先靠廉价的 play 数据打底，训出一个粗糙的 vision encoder 与 dynamics 先验，再换上昂贵的 teleop 数据，细细 fine-tune 出真正能上手干活的 policy。
internet 视频是这两年声势造得最盛、结出果实却最单薄的方向。
Ego4D（Meta 2022）：3670 小时第一人称视频，由 9 个国家 700 多人录制；Something-Something V2（2017）：22 万条短视频标注了“把 X 推向 Y”这类细粒度动作类别；HowTo100M：1.36 亿条 YouTube how-to 视频，平均 6.5 分钟；EgoVLP：用 Ego4D 训出来的视频与语言 contrastive 预训练。
论体量，这些公开库比起 teleop 数据集大出 1000 倍以上。于是每隔三个月，总能看到几篇论文宣称“我们用 internet 视频解决了机器人数据稀缺问题”。
没有一篇真的解决了。
原因有四个：
第一，没有动作标签。画面里确实能看到一只手把杯子拿起来，可你根本无从得知每一帧画面中人的肘关节角度是多少、手指用了多大握力。想单靠视觉重投影出 action，就得先做 hand tracking，再做 pose estimation，接着从手的运动反推各个关节，每一步都裹着大量噪声。最后交到机器人手里的 action，信噪比远低于 teleop。
第二，视角错配。Ego4D 是第一人称视角，情形还不算坏；可 YouTube 上 90% 的烹饪视频全是第三人称拍摄，机器人实际动手时的视角根本对不上。要想做重投影，底下又是另一道大坑。
第三，相机抖动。不管是手持还是头戴，拍摄的相机本身都在晃动。VLA 训练里通常默认相机外参稳固，相机自身的抖动会让 visual feature 漂移得厉害。防抖处理（Stabilization）固然能化解一部分晃动，却又会引入新的伪影（artifact）。
第四，morphology gap。人手有 5 根手指、27 个自由度，而机器人的夹爪通常只有 1 个自由度。人的胳膊虽有 7 个自由度，其身体比例与质量分布也同机械臂大不相同。视频里看着极自然的一次伸手轨迹，机器人哪怕照着复现出来，可能根本够不到那个位置。
把这些摆在一起，结论很明确：internet 视频拿来给表征学习做预训练、给 visual encoder 做 init，或者做 task taxonomy 的 mining 都可以，可要是想拿来直接生成 action，直到 2026 年也没有任何成功的工业案例。像 Octo、RT-2、π0 这类主流工作，固然都借用 internet 视频做过某种形式的预训练，却从没有任何一个团队敢把它当成主力数据。
每隔半年就有人发表“YouTube as data”这路数的论文，每次刚露面时大家都很兴奋，过了半年便没人再提。这是一个被结构性卡住的方向。
要打破这个结构性卡住的死局，至少得等来两件事之一：要么出现一种廉价、可穿戴的全身姿态与力反馈采集设备，让人在自然环境里直接录下“带 action 的视频”；要么出现一种足够鲁棒、能跨越 morphology 的 retargeting 算法，把人手轨迹无损映射到任意夹爪上。眼下两者都还没看到突破的信号。在此之前，把 internet 视频当成主力数据，终究只是一种 wishful thinking。
合成数据是另一头。
UniSim（UC Berkeley 2024，Sherry Yang 等）走的是拿大模型直接生成视频的路子，绕开了物理仿真。只要给一张图像和一段动作 prompt，UniSim 就能生成一段未来的视频。按理说你可以拿这个当 world model 来做 plan，或者从生成的视频里反推 action 当训练数据。这条路线在 2025 年下半年涌现出一批论文，可落在真机上的验证却交了白卷。生成出来的视频好看，绝不等于物理规律一致。
CMU 这一脉的 RoboGen 与 Genesis 走了相反的路：先用 LLM 生成任务描述，自动构造 sim 场景，再靠 RL 或 motion planner 自动求解，把求出来的 trajectory 拿来当训练数据。在 2024 年的这批工作里，这套办法在单任务上确实跑得通，可任务难度始终上不去。一旦任务复杂到需要长程规划，LLM 生成的任务描述与 sim 求解器的能力便双双掉了链子。
用 sim 渲染来做 visual data augmentation，是最朴素也最管用的一类。拿同一条 teleop trajectory，在 sim 里面更换不同的光照、纹理与背景重复渲染十遍，训出来的 policy 对视觉变化要鲁棒得多。NVIDIA Isaac Sim 与 ManiSkill 这两年都在主攻这个点。这是合成数据里唯一在工业界立得住脚的子方向。
对合成数据下个总的断语：拿来做 visual augmentation 确实管用，拿去做 action 数据生成则几乎派不上用场。原因在于 sim2real 在视觉上的 gap 缩得飞快，可在物理接触上的 gap 几乎原地没动（见第 7 章）。
把上面的线索收束起来，得出第一个立场：teleop 数据本身存在 ceiling。
这个 ceiling 不在数据量上，而在演示者本人的能力上。
就算你雇来 60 个普通工程师当 teleop 操作员，他们里也没有一个会用筷子捏黄豆、没有一个能在两秒内把鞋带打好、没有一个能像外科医生那样稳定地操作 0.1 mm 精度的动作。你训出来的 VLA 也就同样学不会。
这件事在简单任务上并不扎眼，因为简单任务上人人都能做得很好，演示数据的 floor 本身已经够高。可在精细操作与高速操作上，teleop 数据会让 VLA 永远停在普通人的水准。想要往上突破，需要的是截然不同的数据来源（要么是 RL 的 self-improvement，要么是外科医生级别专家的演示，要么是 sim 里的最优解），而不是堆积更多 teleop。
看两个具体的数据点：2025 年有两家公司同时尝试用 teleop 训练机器人去折很薄的纸（origami），双双以失败告终。原因不在模型不行，而是 teleop 操作员自己都叠不稳那种薄纸。另一个数据点来自医疗手术机器人领域：除了 Intuitive 之外的几家初创团队，这两年都在尝试用普通 teleop 的方式采集数据来训练模型缝合伤口。几乎所有项目都卡在了同一个地方：普通操作员缝合的针距和力度根本达不到医疗标准。最后能用的那部分数据，依然来自外科医生本人坐到 teleop 工位上录下的小批量数据，数量少到根本训不出泛化模型。
务必记住这件事：当任务超出普通人的运动能力时，teleop 数据就是天花板，而不是地基。这一条还有一个推论：如果你的目标是让机器人做平凡的事，teleop 是好办法；如果你的目标是让机器人做超人的事，teleop 则是死路。这两条路在前期看起来别无二致，分界只在于你押注的产品形态。
立场二：1k / 10k / 100k 这三个数据量级是真实的工业阈值。
这两年从公开数据和论文里拼凑出来的图景，演示数据量大体横着三个台阶。
1k 演示以下。这笔数据基本只够做单任务、单环境、单初始化条件的 demo。学术论文经常能在 500 条数据上跑出漂亮的结果，但拿到环境稍微变动一点的场合就当场崩溃。1k 以下的数据只适合做演示视频，根本做不出产品。
1k 到 10k 演示。到了这个量级，才能支撑单任务在多环境下的稳定泛化。这是眼下家庭机器人单任务（比如折一种衣服、做一种饭）的工业落地阈值。1X 那一路在每个核心子任务上大概都采集了 5000-15000 条数据；Physical Intelligence 公开版本的 π0，则是拿 10000 小时量级的演示数据喂出来的。
10k 到 100k 演示。到了这个量级，模型能做 cross-task 泛化，开始表现出“我没见过这个具体任务，但我能合理尝试”的行为。RT-2 在 130k 条演示上训出来，头一次让大家看到属于这个量级的涌现现象。
100k 以上。模型开始在没见过的物体类别和场景配置上有合理表现。AgiBot World 那 100 万条数据就落在这个量级，但眼下还没有公开的下游评测，能告诉我们这个量级到底买到了多少泛化。
工程上的 takeaway 很干脆：在 1k 量级做不出效果，加到 5k 通常能解决；如果 10k 还不行，问题就不在数据量，而在任务定义或者模型架构。第 1 章末尾立过的那条工程信号，也就是 fine-tune 已经收了一万条还做不出来时通常该把任务拆开，跟这个数据规模阈值其实是一回事。
最后讲 co-training，聊聊怎么把五类数据混在一起用。
工业上稳定跑通的配方大致是这样：
预训练阶段：internet 视频（负责 visual encoder 预训）加上 Open X 和 DROID（提供 cross-embodiment 动作先验），再配合大规模合成视觉增广。这一阶段吃进去的数据量最大，各个来源的权重其实没那么要紧，核心是让模型学到通用的视觉与动作分布。
主训练阶段：你自己硬件平台上的 teleop 数据是绝对主力，权重至少要占 60%。中间可以混进 10% 到 20% 的 Play 数据充当正则化。至于像 RH20T 这种带触觉的数据，碰上力控敏感任务就能帮上忙。
fine-tune 阶段：用纯 teleop 数据，专门针对你要部署的具体任务。权重 100% 押给当前任务，顶多再混进一点点别的相近任务数据，防止模型出现 catastrophic forgetting。
权重的具体比例没有银弹，每家都在反复调。但这里有个普遍规律：数据质量的权重远比数据量的权重更重要。一条干净、跟你目标硬件对齐、又紧扣任务的演示，抵得上十条 internet 视频，或者一百条 sim 数据。
所以那家湾区公司一年花掉 1200 万收 teleop，本身是合理的。问题从来不是 teleop 贵，而是他们没意识到 teleop 的 ceiling 在哪、什么时候该停下来用别的数据补、什么时候又该把任务重新切分。这才是真正昂贵的决策，从来不是数据本身。
练习¶
找一个你最熟悉的具身公司（任意一家），估算他们一年的 teleop 数据采集成本。把硬件、人力、场地、数据存储、标注这几项分开算。算完不妨问一句：看他们公开过的 demo，这些钱花得值吗？哪一部分是真在创造价值，哪一部分又只是在重复采集那些已经摸到 ceiling 的数据？
重读 RT-X 的 paper，但这回只看每一家机构贡献的数据量分布和 embodiment 多样性那两张表。算一下这 60 多家机构里贡献了 80% 数据的是哪几家。这几家用到的硬件属于同一类还是彼此分散？这个分布告诉你，在 cross-embodiment 训练里 RT-X 到底真正“泛化”了多少种机器人？
找三段最近的 VLA demo video（任意公司），仔细观察模型在抓取前的准备动作。有没有那种“突然停 0.3 秒再继续”的犹豫？如果有，这究竟是模型本身的问题，还是 teleop 数据带来的问题？把这个区分想清楚。
给自己一个项目设定：你要做一台能在咖啡店里清桌子的机器人，单次任务 2-3 分钟。按本章讲的五类数据来源，规划接下来 6 个月你要采集或者拿到的数据，把权重分配清楚。然后写下你预期 1 个月、3 个月、6 个月各自能达到的成功率上限。这个练习的关键不在数字本身，而是逼着你把“该用什么数据”这个判断真正定下来，好在将来回头对照。
下一章：第 9 章 评估