一台机器人拿起螺丝刀并不难难的是让它在几秒钟内精准地把刀头对准一枚细小的螺丝。这不是未来世界的科幻场景而是今天机器人操作中最现实、也最棘手的问题。当前VLA模型在叠衣服、冲泡咖啡、制作烤奶酪三明治这类多样化任务中已经表现出令人印象深刻的通用能力。但真正走进工厂、实验室甚至家庭人们很快发现——通用能力并不等于好用。原因很简单真正实用的物理操作还需要精度、灵巧性和速度。而VLA模型在执行“最后一毫米”的高精度操作时往往会变得犹豫不决、动作迟缓甚至反复失败。这是为什么呢因为高精度操作天然对微小误差极度敏感。而这类误差仅靠专家示范数据很难覆盖。示范数据能教会机器人“怎么做”却很难教会它“怎么做得又快又准”。于是一个自然的思路浮出水面让机器人在实践中自己学。这正是强化学习的强项。但问题又来了。现实中的机器人学习每一轮尝试都要耗费时间每一次失败都伴随着设备的磨损。理想情况下我们希望机器人能在数小时甚至数分钟内完成对某一关键技能的优化。然而直接对整个VLA模型进行强化学习微调计算成本高、样本效率低根本不现实。而如果用传统的强化学习方法只训练一个小模型虽然速度快但VLA那强大的泛化能力就白白牺牲了。这就陷入了一个两难既要VLA的泛化能力又要在线强化学习的速度和样本效率。近日Physical IntelligencePI团队在最新研究论文《RL Token: Bootstrapping Online RL with Vision-Language-Action Models》中提出了 RL TokenRLT方法。该方法通过构建 VLA 与轻量级强化学习之间的紧凑接口仅需数小时真实交互数据即可让机器人完成精密操作的在线优化有效解决了通用模型难以兼顾泛化性与精确性的行业痛点为机器人灵巧操作提供了全新技术路径。一、RL Token 实现方案RL TokenRLT的核心设计理念是冻结VLA模型主体通过紧凑表征接口用轻量级网络完成在线强化学习微调实现泛化能力与精密优化的兼顾。整套方案无需定制化开发可直接对接预训练 VLA模型快速适配各类精密操作任务。RL Token工作机制PI论文见参考资料1. RL Token 的生成机制RL Token是VLA 与轻量级强化学习网络之间的紧凑信息接口通过添加一个编解码Transformer对 VLA 模型进行适配来实现编码器负责将VLA 的高维内部表征压缩为低维向量即 RL Token浓缩任务核心信息包括视觉感知、语义理解与动作先验等解码器通过重构VLA原始嵌入确保RL Token保留完整的任务关键信息形成信息瓶颈避免有效特征丢失。训练完成后冻结VLA 参数RL Token 作为轻量级Actor-Critic 网络的状态输入让小型网络也能利用VLA的丰富感知知识实现高效强化学习。2. 轻量级强化学习设计基于 RL Token方案采用样本高效的 off-policy Actor-Critic 在线强化学习算法仅训练轻量级策略头Actor与价值头Critic可直接在机器人端本地运行每秒完成数百次参数更新实现实时策略优化。为保证训练稳定性与效率方案在三大关键设计上进行了如下优化调整1动作空间对齐强化学习策略直接预测动作块Action Chunks与底层 VLA 的动作结构保持完全一致而非在单步控制层面逐帧执行。通过优化连续动作序列使在线策略能够有效调整任务中关键的时间扩展性运动模式满足精密操作对时序一致性的需求。2正则化约束锚定行为策略网络Actor将 VLA 预测的动作作为输入学习对参考动作进行修正而非替代。在策略更新中引入朝向参考动作的正则化约束约束 Actor网络贴近 VLA 的参考动作当VLA 行为已较为合理时动作与VLA一致训练稳定当动作偏离VLA 时约束作用增强引导网络贴近合理动作仅当Critic 判定偏离能获得更高奖励时才允许有限探索避免无效试错。同时为防止策略在训练初期单纯复制VLA 动作引入参考动作随机丢弃机制reference-action dropout强制策略网络维持一条独立的动作生成路径充分利用先验知识的同时保留自身优化能力。3可选的人工干预融合方案可选择性地将人工干预信号直接融入强化学习更新过程当机器人出现停滞或执行错误时人工修正信号可被回传至训练流程进一步提升策略的鲁棒性与任务适应性。上述设计使在线强化学习成为一套可直接附加于预训练 VLA 的通用方案无需针对具体任务进行工程化改造即可实现稳定、高效的实时策略优化。3. 端到端落地流程整套流程将在线强化学习转化为VLA行为的局部精调而非无约束探索完美平衡了效率、稳定性与性能。RL Token 的实际应用分为两步流程简洁高效VLA 适配阶段在少量任务专属演示数据上对VLA 进行微调。这样做有两个目的一是提高 VLA 在目标任务上的初始执行能力二是让它能够输出一个专门用于强化学习的特征RL Token供后续训练使用。在线RL 优化阶段冻结VLA 参数并在线训练轻量级的Actor与Critic 网络。网络以 RL Token 表征和 VLA 参考动作作为条件输入并对学习到的策略施加正则化约束使其与 VLA 模型保持相近。这套方法不是让机器人在黑暗中盲目摸索无约束搜索而是让它在已经具备一定操作能力的预训练模型基础上仅进行局部微调。它只训练两个轻量级的小网络因此运行速度快同时充分利用了预训练模型已有的理解能力和操作经验做到了“站在巨人肩膀上”进行高效学习。RL Token的提取PI论文见参考资料二、实验验证为全面验证RLTRL Token 架构在高精密操作任务中的有效性研究人员在四项兼具精度与速度要求的亚毫米级任务上开展了系统实验包括螺丝安装 用电动螺丝刀将 M3 螺丝拧入螺纹孔、扎带紧固、以太网接头插接和充电器插入。实验结果表明该方案在任务成功率与执行速度上实现了双重突破并展现出卓越的样本效率与泛化能力。1.实验设置每项任务均包含抓取、重定位与对准环节总时长为 30-120 秒控制频率 50Hz对应约 1500-6000 个控制步。针对每项任务研究人员划定了关键阶段——即插入、紧固或旋转环节该阶段精度要求最高也是基础 VLA 模型最常出现卡顿或执行失败的环节。关键阶段的时长通常为 5-20 秒对应 250-1000 个控制步。强化学习策略的输入包括RL Token由两路腕部相机图像与一路基座相机图像生成以及额外的本体感受状态。根据任务不同辅助状态信息有所差异螺丝安装任务中辅助状态为关节位置扎带紧固、以太网接头插接、充电器插接任务中辅助状态为末端执行器位姿。实验采用π0.6作为基础VLA模型机器人的控制频率为50Hz。单时间步动作空间维度为14 维对应强化学习Actor网络的分块动作维度为140维。2.实验结果1在线强化学习相较基础VLA策略存在性能提升在两种设置下评估本方法隔离关键阶段的受控设置以及要求强化学习策略具备更强鲁棒性的全任务设置。在线强化学习在两种设置下均能提升基础模型的成功率与执行速度。在受控设置中RLT 对四项任务的关键阶段均实现稳定提升。即便在基础策略已具备良好可靠性的相对简单任务充电器插接、以太网接头插接中RLT 学到的策略在关键阶段的执行速度提升约3倍。在难度更高的扎带紧固与螺丝安装任务中成功率的提升更为显著。在全任务评估中由于任务前期环节抓取、抬升物体等带来误差累积整体成功率有所下降但RLT 仍使螺丝安装任务成功率提升40%扎带紧固任务成功率提升60%。全任务与关键阶段受控设置任务评估PI论文见参考资料备注1ScrewDriver螺丝安装 2Zip Tie扎带紧固 3Ethernet以太网接头插接 4Charger充电器插入2相较于基线方法RLT 带来吞吐率的显著提升在以太网接头插接任务中将RLT 与四种基线方法进行对比HIL-SERL 与 PLD均为单步在线强化学习方法在这一跨数百步、采用稀疏奖励的任务上无法有效学习。若无动作分块任务时程极长价值函数更新难以有效传导稀疏奖励信号。DAgger 与 DSRL可达到与 RLT 相近的成功率但在速度提升上效果远弱于 RLT。DAgger 属于模仿学习方法执行速度受限于人类演示与干预的速度DSRL 是一种将策略严格约束在基础VLA 附近的强化学习方法虽能保证训练稳定但性能提升潜力相对有限。RLT与其他强化学习算法的对比PI论文见参考资料备注将RLT 与近期强化学习相关文献中的多种基线方法进行对比。仅采用单步动作而非动作块的方法HIL-SERL、PLD表现较差。DSRL 虽能实现较高的成功率但在任务吞吐率上显著落后于 RLT。3RL Token、动作块、BC 正则项、参考动作直通四项组件缺一不可实验通过消融测试验证RL Token、动作块、BC 正则项、参考动作直通四项设计的核心价值任一组件缺失均会导致性能明显下降用ResNet-10 编码器替代 RL Token 会使吞吐率下降50%证明本文提出的Token编码了与操作任务相关的结构信息这是在标准计算机视觉任务上训练的通用编码器无法提供的。将动作块C10替换为单步动作会大幅拉长任务的有效时程因为价值函数需要在更长的序列上完成信用分配同时也会导致基于RL Token的方法无法可行运行。在实际实验中单步变体的性能无法稳定达到基础策略水平。移除BC正则项β0带来单次最大的性能下跌因为这会迫使Actor网络仅依靠Q函数的梯度在完整动作空间中进行探索。移除参考动作直通会减慢学习速度导致早期探索偏移偶尔出现退化行为。尽管在该简单任务上该消融组最终能达到RLT 的性能但在训练过程中失败次数更多。以太网接头插接任务训练过程中不同阶段的吞吐量PI论文见参考资料备注1w/o BC Regularizer无BC正则项 2w/o Chunk无动作分块 3w/o RL Token : 无 RL Token 4w/o Pass-Through无参考动作直通消融研究表明本方法的各个组成部分均对实现优异性能至关重要且完整系统的学习速度最快最终性能表现最佳。值得注意的是仅在任务关键部分消耗5分钟数据后RLT的性能就超越了替代策略整个实验时长约 40 分钟。将参考动作从Actor网络输入中移除“无直通机制” 配置虽仍能达到最优的最终性能但代价是学习速度变慢且在整个训练过程中出现的失败次数显著增多。以太网插接任务训练过程中的成功率评估PI论文见参考资料在以太网接头插接任务中RLT 能够快速达到与VLA策略相当的成功率同时提升任务吞吐率。若不采用参考动作直通机制或不使用 RL Token均会导致模型学习速度变慢。4RLT产生超越人类演示的高效行为实验结果显示在线强化学习使机器人的任务执行方式发生了根本性变化。针对以太网插接任务的关键阶段研究人员可视化呈现了人类遥操作演示、基础VLA模型与RLT策略的速度分布如上图所示基础VLA模型在接近接触目标时常表现出 “试探” 行为靠近目标、小幅回撤、重新调整而后再次尝试 —— 有时需多次循环此类尝试才能成功。RLT策略会直接靠近接口并以流畅的动作完成接头插接。即便首次尝试失败RLT也会施加一定压力并轻微摆动接头利用机械柔顺性完成更快插接。该行为并未出现在演示数据中完全源于在线探索这表明该方法能够超越对人类策略的简单模仿。三、未来展望具身智能模型的能力迭代通常遵循一条渐进的技术路径首先通过大规模预训练构建通用的感知与基础动作能力为后续优化提供稳固的模型基座随后在真实场景部署中利用任务特定的交互数据对模型进行局部微调提升关键动作的精度与稳定性在此基础上结合人类反馈与强化学习进一步增强模型在复杂任务中的高层推理与决策能力。RL Token 正是这一路径中第二阶段的核心实现方法之一 —— 它作为连接 VLA 大模型与在线强化学习的桥梁将在线 RL 转化为对 VLA 高潜力行为的局部精调而非无约束探索从而实现快速高效的学习。在当前方案中还可以选择性引入人工干预当机器人执行受阻或出现操作偏差时通过人工修正信号辅助策略更新进一步保障训练稳定性。未来结合奖励模型、进度预测等技术有望实现完全自主的强化学习优化流程—— 这恰与路径的第三阶段基于人类反馈的强化学习RLHF相呼应使机器人无需人工介入即可持续自我进化。当模型能够通过真实场景的持续交互打通 “预训练 — 场景微调 — 人类反馈优化” 这一闭环时其在实际任务中的表现将实现持续迭代与稳定提升。RL Token 不仅是一项重要技术方法创新更是推动机器人从 “被动执行指令” 向在线自主优化、持续自适应演进的关键技术支撑。通过让通用机器人大模型具备高效在线自优化能力该方案显著提升了机器人在精细操作场景下的精度、效率与泛化适应性为智能制造、精密装配等领域的自动化升级提供了可行路径。参考文献1. 论文RL Token: Bootstrapping Online RL with Vision-Language-Action Modelshttps://www.pi.website/download/rlt.pdf