第 4 章 抓取¶
在 manipulation 的各条路线里，抓取大概是最被低估的难题。看一段 demo 你会以为它解了，真在工厂里数上一周良率，才发现差得还很远。bin picking（从一堆零件里抓单个）算不上抓取，抓取是把 bin picking 推到分布外之后，依然能稳定接触一切的能力。
2024 年某具身公司放过一段传得极广的 demo。单镜头一分钟，机械臂从乱堆的工具箱里抓螺丝刀、抓六角扳手、抓一卷电工胶带，每一次都干净利落。这段视频在 Twitter 上转了几万次。
任何试图复现这类 demo 的小组，很快都会摸到一条典型的曲线：用同样的开放脚本在同样的 setup 下跑上一周，成功率是 47%。换几样表面光滑的物体（一个不锈钢量杯、一段 PVC 管），降到 31%。再换一个装了一半水的玻璃杯，只剩 18%。
视频里的成功率没有作假。可镜头里的物体被精挑过，光照被精挑过，工具箱摆放的姿态也被精挑过。只要把其中任何一条变量松开，曲线立刻断崖。
这一章想说清一件事：bin picking 在 2025 年大致解了，"抓取"没有。把这两件事混为一谈，是这两年具身公司估值里最大的水分来源。
得先把经典 grasp planning 这条线看清楚。
2010 年代末，把抓取这件事推得最远的，是 Berkeley Ken Goldberg 组的 Dex-Net 系列。Mahler 等人在 2017 到 2019 年陆续放出 Dex-Net 2.0/3.0/4.0，做的始终是同一件事：给定一个深度图，输出一个最稳的 antipodal grasp（两指夹爪从对侧夹住物体）。所谓 antipodal，是指夹爪（机械臂末端的两指夹具）两指连线穿过物体重心，闭合时摩擦锥（接触点不打滑的力方向集合）能够闭合。Dex-Net 用上百万个 sim 渲染的深度图加解析力学算出的 grasp quality 训练了一个 CNN，哪怕部署在真机上去抓没见过的物体，成功率也能跑过 80%+。
同一时期的 GG-CNN（Morrison 等，QUT，2018）身段更轻。它把抓取直接参数化到一张 pixel-wise 的 grasp map 上，50ms 之内就能出结果，挂在 ROS 上做闭环抓取（边看边调，区别于一次算好执行到底的开环），直到现在都还有人在用。
到了 2020 年前后，这条路线迎来了两个集大成者。6-DoF GraspNet（NVIDIA Mousavian 等，2019；输出位置加朝向共六维的抓取参数）放弃了“必须从上往下抓”的假设，输出完整的六自由度抓取位姿（物体或夹爪在空间中的位置加朝向）；Contact-GraspNet（Sundermeyer 等，2021）在杂乱场景里直接从点云吐 grasp。整条路线最大的工程价值，在于推动了 bin picking 这类任务的飞跃。bin picking 如今 90% 的部署都在用某种 GraspNet 的变种加一层经典 motion planner。
为什么 bin picking 这条路接近"够用"：任务空间窄（一个 bin 之内），视角固定（顶部一颗 RGBD），姿态自由（你可以从任意角度抓，反正下一步是把它丢进盒子），失败可重试（抓不起来再来），物体已知或半已知（仓库 SKU 数量有限）。把这五条拼在一起，它其实是一个比“通用抓取”窄得多的子问题。
KUKA、Fanuc、ABB 在 2023 年之后都把这套堆栈做成了现成可买的产品。Covariant（Pieter Abbeel 等创立，2024 年被 Amazon 收购大部分团队）把 bin picking 做到 99%+ 的良率，靠的就是经典 grasp planner 加大量真实数据闭环，并不是端到端 VLA。
把 bin picking 视作“抓取已解”，是一个相当昂贵的误读。
bin picking 跟家庭/厨房抓取的差距，至少隔着四层。
第一层是物体的开放性。仓库里的 SKU（库存里每种独立商品）是有限的，哪怕“前所未见”也是同分布的工业品。家里的物体才是真正开放的：一个外卖打包盒、一个用过的口罩、一只装了两口酒的红酒杯、一袋拆开一半的薯片。这些东西每一件的几何、表面摩擦、变形性、内部状态，都跟训练集里的东西相差很远。
第二层是接触动力学。bin picking 的物体大多是刚体，抓起来的力学行为可以用刚体接触建模。家里一半以上的物体不是刚体。一个装水的杯子你抓的位置不对，水会晃出来；一袋薯片你抓在中间，包装会被捏破、里面的气体猛冲出来；一块巧克力你抓得太用力，它会化在你手指里。
第三层是姿态约束。bin picking 你想怎么抓都行。家里很多物体有“必须这样抓”的方向限制：刀必须握刀柄、马克杯如果有热咖啡必须握把手、一块刚出锅的鸡腿绝不能抓断骨那一头。这些约束根本写不进 grasp quality function。
第四层是任务后续。bin picking 抓起来的下一步永远是丢进盒子。家里抓起来下一步千差万别：抓杯子是为了喝、是为了倒、是为了刷、是为了递给人。抓的 grasp 必须配合下一步的 task。这件事在经典 grasp planner 里没有任何接口去考虑。
把这四层叠在一起，你就能想通为什么 Berkeley、CMU、Stanford 这几年家庭抓取相关的论文里，成功率始终在 40-70% 的区间徘徊。这不是 grasp planner 不够好，而是问题的形状跟 bin picking 完全两样。
软物体、薄物体、形变物体，是经典 grasp planning 的死穴。
毛巾。毛巾是布，没有固定 6-DoF 位姿。你拿起一条毛巾的位置不同，它垂下来的形状就不同，下一步要做的折叠动作完全不同。Berkeley 的 SpeedFolding（Avigal 等，2022）和 SmoothingNet 这一线是少数能在毛巾上跑通的工作，但它们走的不是 grasp planner（解析式抓取规划器），是 keypoint detection + 学一段折叠动作。它们绕开了“抓取”这个问题，把它变成了“按 keypoint 抓+按 keypoint 放”。
塑料袋。一个外卖塑料袋你从哪里下手抓，决定了它会不会塌。袋口、袋底、袋身的力学行为完全不同。grasp quality function 不知道这是个“袋子”，更不知道里面有汤会洒。
纸盒。空纸盒和装了书的纸盒外观一样，重量差十倍。抓空纸盒可以一只手，抓装满书的得双手抱。这件事单看视觉解不了，必须有一次试探性的提起加力反馈（夹爪上 F/T sensor 即力矩传感器读出的力）。
装水的杯子。这是 manipulation 论文里近乎刻板印象的失败案例。从上往下抓杯口，水溢出来；侧抓握住杯身，碰到把手就被绊；从下往上托，绝大多数夹爪做不到。人抓这种杯子是握把手加调姿态（位置加朝向）保持杯口水平的两阶段动作，这件事经典 grasp planner 完全没有这种概念。
食物。一块豆腐、一坨米饭、一片烤鸡。豆腐你稍微用力它就碎，你不用力它就滑下来；米饭你抓不起一坨米饭，你只能用勺子；烤鸡你得抓肉不抓骨头。这些都不是 grasp planning 的子问题，这是接触工程加上常识推理。
经典 grasp planner 在所有这些场景下不是“准确率低”，是根本不在解的空间里。它的问题表述（找到两个 antipodal contact point 让摩擦锥闭合）没有覆盖软物体所需的整个建模。这一线已经几乎走到尽头，未来不太可能再有大的进展。
补这个缺口最有希望的两条路，一是触觉，二是端到端学接触。这两条在这两年都在动。
触觉这一波主要是 MIT 的 Edward Adelson 团队推动的。GelSight（Adelson 组，2017 之后持续迭代）把一块半透明硅胶贴在手指上，里面打光，从背面用摄像头看硅胶被压变形的纹理，能拿到 0.05mm 量级的接触几何信息。Meta 在 2022 年开源了 DIGIT（Lambeta 等），把 GelSight 工程化成了一个 30 美元成本的传感器，让全世界实验室都能装。Meta 后来又出了 ReSkin（Bhirangi 等，2021），用磁性微珠加磁感应，做成可贴在任何曲面上的弹性皮肤。
触觉真正的价值不在抓之前，在抓之中和之后。一旦闭合了夹爪你要回答三个问题：物体在不在我手里、它有没有在滑、我有没有捏太紧捏变形了。这三个问题视觉答不了，本体感觉答不全，触觉是唯一的干净信号。
NYU 的 Lerrel Pinto 和 TU Dresden / Meta 的 Roberto Calandra 这几年是 tactile-augmented manipulation 的两大推力。Pinto 组的工作把触觉接到 diffusion policy 里做 contact-rich 任务（比如插 USB、拧瓶盖）。Calandra 组做的是更基础的触觉表征学习，让一个网络从触觉读出物体材质、形状、滑动方向。
握力调节和滑动检测是触觉这一波最快进入工业的两个能力。Soft Robotics Inc. 的夹爪集成了自家的滑动检测算法，抓鸡蛋这种任务上比纯视觉的方案稳得多。Sanctuary AI 的 Phoenix 在指尖装了一圈 GelSight 类的传感器，宣称能抓上百种家庭物体。这些 demo 真假参半，但触觉这条工程线本身是真在动的。
触觉的代价也得说明白。GelSight 这类传感器寿命偏短，硅胶层磨上几千次就得换新；DIGIT 的相机模块经不起频繁磕碰，接触多了容易松脱；ReSkin 走磁感应路线，抗干扰能力又弱。带宽同样是个坎：靠摄像头采触觉信号，帧率天生被卡在相机的 30-60Hz，真遇上高频滑动，反应还是慢半拍。走进家庭场景，这些毛病全都没有解开。
大家总容易把另一件事抛在脑后：触觉数据的标注代价。视觉数据能扔去 mturk 雇人画框，触觉却根本行不通。机械臂每碰一下物体，系统就得同步记下画面、受力与关节状态，怎么标注本身就是个没解决的研究课题。Pinto 组在 2024 年开源了 t-Dex，算是眼下公开体量数一数二的触觉抓取数据集，但拿去和 OXE 这样的视觉-动作数据集一比，差了足足两个数量级。说到底，触觉才是这一波最缺数据的一层。
多指手则是另一个总被大家挂在嘴边的“未来”。
市面上的四指与五指灵巧手，数得出来的主要有这么几款：Allegro Hand（Wonik Robotics，4 指 16-DoF，约 2 万美元）、Inspire Hand（深圳因时机器人，5 指 12-DoF，约 5 万美元）、PSYONIC Ability Hand（原本是义肢方向，5 指 6-DoF，约 1 万美元），还有 Shadow Dexterous Hand（伦敦 Shadow Robot，5 指 24-DoF，约 10 万美元）。
灵巧手的卖点全在“接近人手”这四个字上。背后的代价却重得吓人。
贵。Shadow Hand 单只起步价就要 10 万美元。搭一台双臂研究平台，光是配两只 Shadow，开销就已经压过了整套 ALOHA 的造价。
易坏。手指上的精细小关节一旦吃上接触负载，损耗就会变得极快。Allegro Hand 走 tendon-driven 路线，大负载下断腱是屡见不鲜的故障模式；Shadow Hand 的关节腔若是钻进了汗液或者灰尘，毛病出得更频繁。这些细节在研究 paper 里从来读不到，全是设备部署一年以后维修台账上的真金白银。
控制难。面对 16-24 个自由度的手，full-state policy 要探索的搜索空间大得吓人。OpenAI 在 2019 年用 Shadow Hand 解 Rubik's cube 那段轰动的 demo，花了几万 GPU 小时的 sim 训练，外加 domain randomization，搬到真机上也只有 30% 左右的成功率。那是一个极有钱的实验室扑在极窄任务上做出来的特例，绝非工业界能照搬的方案。
多数硬件厂商之所以还守着两指或三指，原因很实在：两指与三指就能抓起 80% 的工业物体，价格只有十分之一，可靠性却高出十倍。Tesla Optimus 刚亮相时用的是两指搭配力反馈，后来升了五指，也只在特定工序里登场。Figure 02 选了五指。1X 的 NEO 也是五指，但每只手只给到 11-DoF。Boston Dynamics 的电动版 Atlas 开放了各种末端构型，放到实际工业现场，默认装上去的还是平行夹爪。
灵巧手终究会是最终形态吗？长远看大概逃不掉。可退回到真实世界里，至少未来五年它在工业部署里都还是少数派；工业部署里的两指夹爪配上触觉，偶尔按需换上三指，依然会持续是主流。
软夹爪这条技术线，得单独拿出来讲。
波士顿的初创公司 Soft Robotics Inc. 专攻硅胶气动夹爪，能稳稳捏起鸡蛋、草莓、水果蛋糕这类刚体夹爪一碰就碎的东西。它的核心卖点在于靠材料本身的柔顺度化解接触不确定性，省去了算 grasp pose 的麻烦。2022 年公司被 OnRobot 收购，全套产品线如今归在 OnRobot 门下。
这是经典夹爪处理软物体抓取的另一条分流：不让“夹爪本身”充当刚体，转而依靠自适应的接触表面。它在食品、农业和医药这几个特定场景里把产品化做得相当扎实。换来的代价同样分明：输出力度的精度极低（你无从得知自己施了多少牛的力），位置控制不够准（硅胶一捏就会形变），对现场洁净度要求苛刻（稍有脏污气阀便容易卡壳）。
Sanctuary AI 打造的 Phoenix 算不上软夹爪，但它采用的“液压驱动 + 软指尖”结构，正是把传统刚性手往软的方向拉近的大胆尝试。Sanctuary 创始人 Geordie Rose 曾反复在采访中强调，灵巧操作的核心从来不是堆叠更多自由度，而是更聪明的接触。对于这个判断，我倾向同意。
那么，眼下这批 manipulation foundation models 在抓取这一段做得怎么样？
RVT / RVT-2（NVIDIA Goyal 等，2023-2024）挑了一条极为取巧的路径：把 3D 场景直接渲染成若干虚拟视角的 2D 图像，交由 transformer 在 2D 画面上完成 token prediction，进而算出 grasp pose。这种做法在 RLBench 这类 benchmark 榜上刷出了亮眼的分数，可 RLBench 纯属 sim 虚拟环境，里面的任务全由已知物体组成。一旦碰到真实分布外物体，整条路线至今还没有被大规模复现过。
SuSIE（Berkeley Black 等，2024）则把 image editing 当成了 subgoal：先让 diffusion model 凭空画出一张“下一秒应该是什么样”的 subgoal 目标图，再驱使低层 policy 设法贴合。这条路在抓取段表现平平，根源在于生成的 subgoal 图片对手指位置、握力大小这些关键的微观细节几乎没有约束。
ManiFM（清华孙富春组，2024）属于 manipulation foundation model 赛道里，国内学界难得一见的认真成果。它尝试从海量 sim 仿真数据中提取 manipulation primitive 的可迁移表征。拿来抓常见物体表现尚可，可一碰到分布外样本，准确率掉得相当快。
Octo（Berkeley，2024）与 OpenVLA（Stanford，2024）代表了通才型的 generalist 模型路线。抓取本就是它们擅长的强项之一，毕竟 OXE 数据集里大半篇幅都是 pick-and-place 任务。翻看 paper 里给出的 success rate 会发现，面对“already-seen objects in similar conditions”这类熟悉场景，成功率能维持在 70%+；可一旦切换到“novel objects in novel scenes”的陌生环境，数字直接滑落到 30-40%。这跟我们小组内部实测拿到的 47%/31%/18% 是一致的。
π0（Physical Intelligence，2024.10）与 π0-FAST（2025.02）毫无疑问是当前抓取段的 SOTA。π0 在折衣服这类 contact-rich 任务里展现的能力货真价实，这很大程度上要归功于它的 flow matching 输出，能描摹出比传统 diffusion 更为平滑的接触力轨迹。然而 π0 依然没能绕开分布外这个核心难题。它在 PI 团队自己挑选的演示场景下表现拔尖，可放到第三方实验室里，复现成功率会下降。Sergey Levine 在 2025 年初的一次访谈中也承认了这点：他说 π0 内部团队跑出来的成功率，跟部署到客户场地里的实测数据相比，有时能相差整整 20 个点，这部分差距至今还没有干净明了的解释。
Helix（Figure，2025）把 grasp 模块直接嵌进了 system 1 体系，论文里宣称在仓库取放任务中达到了接近 100% 的稳定度。仔细阅读它的实验 setup，测试物体清单、场地光照、抓取角度其实都经过了严密收窄。这跟 Covariant 在 bin picking 业务上做的事情属于同一种工程打磨，不是抓取本身的底层突破。
GR00T N1（NVIDIA，2025.03）是另一条值得挑明讲的路线。它主打 humanoid-first 的 generalist policy，用海量 sim 仿真数据掺入少量真实数据混合训练。NVIDIA 在 GTC 2025 大会上放出的 GR00T 抓取片段经过了挑选，在公开评测的 LIBERO 之类 benchmark 榜单上数字漂亮，真要放进家庭部署，距离还差得很远。
把眼前这波热潮合在一起看：foundation models 确实把抓取的“风格”与“语义匹配”做得比经典控制栈更出彩，但它们压根没有把“在分布外物体上稳定形成可靠接触”做得更好。这归根结底是物理问题，不是表征问题。模型再大，互联网视频里也绝不会出现“装了一半水的玻璃杯被这只手以这个力度握住时杯口水位的实时变化”这种数据。这类数据要么老老实实在真机上花时间收，要么只能等仿真的接触建模再进步两个数量级。
我的立场。
“抓取在 2025 年解决了”纯粹是营销话术。它只有在以下极其狭隘的条件下才站得住脚：单一 bin、已知 SKU、刚体、夹爪从上方接近、姿态自由、失败可重试。在这条边界之外，它根本没解。
工业场景里的 bin picking 解了大约 90%。你可以认为这件事接近完成了，剩下 10% 是 long tail。
家庭环境下的抓取成功率跨场景平均下来不到 50%。这个数字不是哪一篇 paper 写的，而是把几家头部公司的真实部署数据（绝非 demo 数据）平均下来的范围。装水的杯子、毛巾、塑料袋、装满食物的盘子，这几类东西成功率都在 20-50% 之间。
当中的差距来自两件事。
一是分布外物体。大千世界里的物体形态，远多于任何 teleop 数据集能覆盖的范围。这件事大概只能靠数据规模和互联网视频来缓解，但缓解不是解决。
二是接触动力学的 sim2real。变形物体、流体、粒状物（米饭、沙、面粉）的仿真到现在还是一塌糊涂。NVIDIA 推出的 Isaac Sim 4.0、MuJoCo MJX、Drake 这几款主流 sim 平台在刚体接触上已经够好，软体接触和流体接触还有一个数量级的差距。这件事不靠物理引擎本身的进展，单靠 VLA 端到端是不够的。Russ Tedrake 团队在 Drake 上做的 hydroelastic contact 是当前最严肃的尝试之一，但它在毛巾这种薄壳上仍然跑得很慢。
第三点常被大家随手忽略，但同样重要：评估。一段 demo 录像里抓 10 次成功 8 次叫 80% 成功率，但每一次的物体姿态、光照、接近角度如果都被人精挑过，这个数字毫无外推价值。第 9 章会专门讲怎么读 demo，这里只点一句：抓取这件事的成功率，必须是用同一份测试 protocol 在三家以上独立实验室里复现出来的数字才算作数。在那之前的一切喧嚣，统统都是营销。
这件事怎么跟第 1 章那个判断尺接？
第 1 章给出的判断尺上，标着持续时间、接触敏感度、形变、子任务顺序和失败代价。真要把抓取放上去量，它本身是个矛盾的混合体。
抓取动作本身通常只有 1-3 秒，对接触极为敏感，碰上会形变的物体，接触模式更是高度连续。单看这两条，天平明显倾向端到端。
可抓取很少孤立存在，它总要嵌在更大的任务里：抓 → 移动 → 放，或者抓 → 倒 → 放回。外层包裹着的是一套有顺序的子任务序列。到了这个尺度，架构又强烈倾向分层。
所以合理的架构清楚明了：抓取本身交给 VLA 或专用的 grasp policy 端到端解决，而底层的 grasping primitive 则由上层 LLM planner 统一调度。LLM 负责想明白“现在要抓什么、为了什么目的、抓完之后下一步”，VLA 就在这 30-90 秒的窗口里完整执行抓取段。
这套架构在 2025 年的工业部署里几乎成了默认配置。Figure 的 Helix 把 grasp 段交给 system 1，把任务分解交给 system 2。1X 的 NEO 把抓取做成可调用的 skill，全由上层 planner 调度。Physical Intelligence 内部的应用栈也是同样的路数，LLM 在外，π0 在内。
别指望让 VLA 独自想明白“为什么要抓这个杯子”，也别拿经典 grasp planner 去处理装水的杯子。前者是越权，后者是越能力。
再补一条工程信号，对正在做家庭或服务机器人的团队尤其管用：如果你眼下抓取成功率卡在 50% 上不去，再补 5000 条 teleop 数据，通常也不会让你跨过 70%。真正能让你跨过去的，更可能是三件事里的一件：上触觉、把任务拆出 LLM-planner 这一层，或者干脆把目标物体清单收窄到 50 件以内，接受这就是这一代产品的边界。这三条在工程上听着都是认怂，但在 2026 年的这个时间点，认怂比硬撑离上线更近。
练习¶
重新看那段你最熟悉的抓取 demo。把里面出现的物体一个个数出来。这些物体里有几个是刚体、几个是软的、几个会形变、几个存在姿态约束（握把手、握刀柄）？这段 demo 实际覆盖了“抓取问题”的多大一块？
找一段公司发的高成功率抓取数据（比如 Covariant 的 99%、某具身公司的 95%）。这个数字描述的究竟是哪一类物体、什么样的 setup？把它背后的边界条件写下三条。要是出了这三条边界，数据还成立吗？
把厨房抓取拆一遍。在你家厨房挑出 20 个物体（盘子、勺、生鸡蛋、剥了一半的洋葱、一袋面粉、一个装着汤的碗、剪刀、保鲜膜……）。针对每一个物体，写一句“它的抓取难点是什么”。看一看哪些是现有 grasp planner 就能处理的、哪些必须靠触觉、哪些离不开任务上下文、又有哪几样连人类动手前都得想一下？
对比触觉传感器。读一读 GelSight、DIGIT、ReSkin 三篇主要 paper 的 limitations 节。看看它们各自承认的失败模式是什么？这三种传感器，又分别更适合解决前面 20 个物体里的哪几个？
下一章：第 5 章 导航