1. 机器人基础模型中的神经网络架构全景在机器人技术从单一任务执行迈向通用智能体的关键跃迁中神经网络架构扮演着“大脑”的角色。过去我们为抓取、导航、识别等任务分别设计专用模型就像为每个工种配备一位只会单一技能的专家。而如今机器人基础模型的目标是培养一位“通才”——它需要理解语言指令、解析视觉场景、规划复杂动作序列并适应不同的物理形态。这背后是几种核心神经网络架构的协同与博弈。Transformer、状态空间模型、扩散模型、卷积神经网络以及图形模型这五大架构并非简单的替代关系而是构成了一个从感知、理解到决策、执行的完整技术栈。Transformer以其强大的全局建模能力成为多模态对齐和高级推理的“总指挥”状态空间模型则以线性计算效率在需要实时响应的控制回路中稳坐“执行官”之位扩散模型像一位富有创造力的“策略生成师”能基于不确定性生成多样化的行为选项卷积神经网络作为最资深的“感知专家”负责从像素世界中提取最基础、最可靠的特征图形模型则像一位“逻辑架构师”将世界解构为实体与关系的图谱支撑起结构化的因果推理。理解这些架构的设计哲学、优势边界及其在机器人流水线中的具体角色是构建或应用下一代机器人系统的关键。这不仅关乎模型选型更关乎如何将语言理解、视觉感知和物理控制这三条原本独立的技术脉络编织成一个和谐统一的智能体。接下来我们将深入拆解每一种架构的核心机制、它们在机器人领域的具体化身以及在实际部署中你必须权衡的工程现实。2. Transformer多模态对齐与高级推理的基石Transformer架构自2017年提出以来已从自然语言处理领域席卷至机器人学其核心魅力在于将机器人面临的各种问题——无论是理解一句指令、分析一张图片还是规划一连串动作——统一转化为序列建模问题。这种“架构同质化”带来了巨大的设计简洁性你不再需要为视觉、语言、动作分别设计迥异的网络一个Transformer主干配上不同的输入输出适配器就能处理多模态信息流。2.1 核心机制注意力与序列建模Transformer的运作核心是自注意力机制。想象一下你在一个嘈杂的厨房里准备晚餐同时处理多个任务看菜谱文本、观察锅里食物的颜色视觉、估算翻炒的力度动作。你的大脑会动态地分配注意力一瞬间聚焦于菜谱的下一步下一瞬间又关注锅里的滋滋声。Transformer的自注意力机制实现了类似的功能。它将输入如图像块、单词、关节角度转化为一系列“令牌”然后计算每个令牌与序列中所有其他令牌的关联权重。这使得模型能够捕捉长距离依赖关系例如理解“把炉子左边的红色杯子拿过来”这句指令时模型需要将“左边”、“红色”、“杯子”这些分散的词汇与视觉场景中的特定区域关联起来。然而这种强大能力的代价是计算复杂度。自注意力机制需要计算所有令牌对之间的关系其计算和内存开销随序列长度呈二次方增长。对于一个需要处理长达数百步的历史观测和未来动作序列的机器人策略来说这可能导致实时控制环路无法承受的延迟。此外Transformer本质上是为离散符号如单词设计的而机器人的状态和动作空间本质上是连续的。将连续的关节角度或速度离散化为令牌会引入量化误差这对于需要精细力控的操作来说可能是致命的。2.2 在机器人流水线中的三大化身基于处理的数据模态Transformer在机器人系统中主要演化为三种形态各司其职。2.2.1 视觉Transformer从像素到理解的桥梁视觉Transformer彻底改变了机器人的视觉感知方式。传统卷积神经网络通过局部感受野逐步提取特征而ViT将一整张图像分割成多个小块直接通过自注意力机制建模所有图像块之间的全局关系。这种架构特别适合需要整体场景理解的任务。例如在场景理解中ViT能够从单张图像中估计出零样本的度量深度和表面法线。这对于机器人抓取至关重要——一个杯子不仅是“红色”的它还在三维空间中有一个具体的位置和朝向。DINOv2等模型通过在大规模网络数据上进行自监督学习获得了强大的通用视觉特征使得机器人无需针对每个新物体进行繁琐的微调就能理解其几何属性。在语义建图与导航中ViT提取的特征被用于构建开放词汇的语义地图。机器人不再仅仅将环境视为占据网格而是能理解“这是沙发”、“那是茶几”并支持“请导航到客厅的植物旁边”这样的高级指令。通过将ViT特征与SLAM系统结合机器人可以建立并维护一个包含语义信息的长期环境记忆。实操心得ViT特征的使用在实际部署中我们很少从头训练一个ViT。更常见的做法是使用在ImageNet或更大规模数据集上预训练好的ViT如ViT-B/16, DINOv2作为固定的特征提取器。这些特征通常在高维度如768或1024维具有强大的表征能力。关键技巧在于如何将这些高维特征“降维”并适配到下游任务。对于抓取位姿预测我们通常会在ViT提取的全局特征之上接一个轻量级的卷积解码器或MLP来回归出抓取点的6D位姿位置和旋转。注意图像预处理如裁剪、缩放需要与预训练ViT的设定严格保持一致。2.2.2 文本Transformer任务规划与代码生成的中枢文本Transformer尤其是大型语言模型在机器人系统中扮演着“大脑皮层”的角色。它负责将模糊的自然语言指令转化为结构化的、可执行的计划。高级任务规划与分解是LLM的核心能力。给定一个复杂指令如“为我准备一杯咖啡”LLM可以将其分解为一系列子任务1. 移动到厨房2. 找到咖啡机3. 取出咖啡胶囊4. 将胶囊放入机器5. 按下启动按钮。更先进的系统如VoxPoser甚至能生成PDDL规划领域定义语言模板或行为树这些形式化的表示可以与符号规划器结合进行可行性检查确保计划在物理上是可实现的。代码生成与策略适配是另一个激动人心的方向。通过提示工程LLM可以根据语言描述或演示视频直接生成控制机器人的策略代码如Python脚本或ROS节点。这极大地缩短了从任务描述到可执行代码的周期。例如向LLM描述“用机械臂画一个正方形”它可能生成一段调用逆运动学库的轨迹规划代码。这种方法保持了底层控制器的可审计性并弥合了高层意图与底层动作之间的鸿沟。检索增强与记忆让机器人变得更“聪明”。单纯的LLM可能缺乏对特定环境或过往经验的记忆。通过引入外部知识库如场景地图、物体数据库、历史执行日志检索增强生成技术可以让LLM在规划时“参考笔记”从而做出更符合上下文、更稳健的决策。这对于长时程任务尤为重要机器人需要记住之前把钥匙放在了哪里或者某个抽屉比较紧需要用力拉。2.2.3 多模态Transformer感知与控制的统一接口这是机器人基础模型的终极形态之一旨在打造一个端到端的“视觉-语言-动作”模型。多模态Transformer的核心思想是跨模态对齐将图像、文本、本体感知关节角度、力传感器读数等不同模态的数据通过各自的编码器映射到一个共享的潜在空间然后在这个统一的空间里进行融合与推理。以RT-2和PaLM-E为代表的模型是这方面的先驱。它们的工作流程通常是视觉编码器如ViT将图像转换为视觉令牌序列语言编码器将指令转换为文本令牌序列本体感知信息也被编码为令牌。所有这些令牌被拼接成一个长序列输入给一个统一的Transformer解码器该解码器直接输出机器人可执行的动作序列如关节速度或末端执行器位姿。这种架构的优势在于端到端优化。模型在训练过程中同时学习如何看、如何理解、如何行动使得各模态之间的表征能够高度协同。例如模型会学会将“蓝色方块”这个文本概念与视觉特征中对应的颜色和形状区域关联起来并进一步与“拾取”这个动作模式关联。注意事项多模态训练的挑战训练一个强大的多模态Transformer需要海量的、对齐良好的多模态数据。数据不平衡是一个常见问题可能有海量的网络图像-文本对但机器人动作演示数据却非常稀缺。一种实用的策略是分阶段训练首先在大规模图像-文本数据上预训练视觉-语言对齐能力然后在一个较小的、但质量更高的机器人演示数据集上进行指令微调。此外不同模态的数据采样率和序列长度差异巨大图像是静态的本体感知是高频的需要精心设计位置编码和序列打包策略来处理这些异质性。3. 状态空间模型为实时控制而生的高效序列建模者当Transformer因其二次方复杂度而在实时控制场景中面临瓶颈时状态空间模型作为一种新兴的序列建模架构凭借其线性复杂度和长程记忆能力在机器人领域迅速崛起。SSM的灵感来源于经典的控制理论它将系统建模为通过潜在状态进行演化的动态系统特别适合处理机器人传感器产生的高速、连续的时间序列数据。3.1 核心机制选择性扫描与硬件感知设计SSM的核心是选择性扫描操作。你可以将其理解为一个非常高效的“信息过滤器”。它不像Transformer那样让序列中的所有元素都互相交谈全连接注意力而是让一个“状态”随着序列的推进而不断更新。这个状态会选择性记住重要的历史信息并忽略无关的细节。其数学基础是学习一个参数化的系统矩阵通常采用对角加低秩的形式该矩阵决定了信息如何随时间传递和更新。以Mamba模型为代表的现代SSM其关键创新在于输入依赖的选择性机制。模型会根据当前输入动态地决定哪些信息需要被保留在状态中哪些可以忽略。这使得SSM既能处理长序列又能聚焦于关键信息。更重要的是其计算复杂度与序列长度呈线性关系这意味着处理一个长度为1000的传感器序列其计算开销仅约为Transformer的1/1000这为在嵌入式设备或要求毫秒级响应的控制环路中部署大型模型提供了可能。3.2 在机器人系统中的三类应用SSM的特性使其在机器人学的几个关键环节表现出色。3.2.1 视觉SSM高效的长视频理解者在机器人感知中我们常常需要处理来自多个摄像头的高帧率视频流。传统的逐帧处理方式既低效又丢失了时间连续性。视觉SSM可以将视频帧序列或视觉特征序列作为输入以线性复杂度建模长时程的时空依赖。例如在物体跟踪任务中机器人需要在一片混乱中持续跟踪一个目标。基于SSM的编码器可以有效地融合历史帧信息即使在目标被短暂遮挡后也能重新锁定这对于动态环境下的抓取和避障至关重要。此外对于事件相机这种输出异步、稀疏脉冲信号的传感器SSM能很好地处理其不规则采样特性实现对高速运动物体的精准感知这在低光照或高速敏捷操控场景中优势明显。3.2.2 策略与控制SSM低延迟的决策引擎这是SSM在机器人领域最具潜力的应用。将SSM作为策略网络的核心可以直接将观测序列图像、本体感知映射为动作序列。由于SSM的线性复杂度我们可以使用更长的历史上下文来做出决策而不会引入不可接受的延迟。在实际的桌面操控任务中研究人员已经展示了基于SSM的策略如何从少量演示中学习精确的技能。这些策略通过流匹配目标进行训练能够生成平滑、拟人的动作轨迹。更有趣的是混合架构将SSM作为主干用于高效地处理多视角输入和长时程规划同时在顶层引入一个轻量级的注意力模块或检索模块用于处理需要精确关联或工具使用的任务。这种设计在保持高效率的同时弥补了纯SSM在全局上下文建模上的不足。3.2.3 多模态SSM轻量化的通才智能体雏形受限于计算资源将庞大的多模态Transformer直接部署在机器人本体上往往不现实。多模态SSM提供了一个有吸引力的替代方案。一个单一的SSM主干可以同时预训练于长视频、机器人日志和演示数据学习对齐视觉、语言和本体感知模态。例如RoboMamba等模型探索了基于SSM的VLA架构。它们将多模态输入转换为令牌流通过SSM进行融合推理并直接输出动作。与同规模的Transformer相比这种架构在推理时具有更低的延迟和内存占用使得在机器人上运行长时程策略变得更加可行和经济。当任务需要复杂的逻辑推理或精确的符号操作时可以在SSM之上嫁接一个小的“专家模块”如一个检索库或一个轻量级LLM来辅助决策。工程实践SSM的部署优化SSM的另一个巨大优势是其硬件友好性。其递归形式的状态更新非常适合在GPU甚至专用AI芯片上进行高效并行化。在实际部署中我们可以利用像causal-conv1d这样的优化内核来加速推理。对于资源受限的嵌入式平台可以考虑对SSM模型进行量化如INT8量化和剪枝进一步压缩模型尺寸和提升速度。一个常见的技巧是将高维的视觉特征先通过一个轻量级投影层降维再输入SSM这能显著减少序列处理的负担。4. 扩散模型生成多样化与不确定性感知的行为如果说Transformer和SSM是“判别式”模型致力于从观测中预测最佳动作那么扩散模型则是一种“生成式”模型它的核心思想是从噪声中构造出合理的动作序列。这种范式为机器人控制带来了革命性的变化它不再输出一个单一的最优动作而是生成一个动作的概率分布从中可以采样出多种多样且都合理的备选方案。这对于在充满不确定性的物理世界中行动至关重要因为你往往需要多个备选计划Plan B, Plan C。4.1 核心机制迭代去噪与轨迹生成扩散模型的训练分为两个过程前向过程和反向过程。前向过程就像一个逐渐将清晰图片变成纯高斯噪声的破坏过程。在机器人领域这个“图片”可以是一个动作序列、一条末端执行器轨迹甚至是一个目标图像。反向过程则是学习一个去噪神经网络它能够从噪声中逐步恢复出原始数据。在推理时我们从纯噪声开始利用训练好的去噪模型经过多步迭代如50-100步“去噪”出一个干净的动作序列。这个动作序列是条件于当前观测如图像、语言指令生成的。关键在于由于起始噪声是随机的每次采样都可能产生不同的、但都符合条件约束的轨迹。这天然地赋予了策略探索和多模态输出的能力。4.2 基于不同条件的扩散策略扩散模型的强大之处在于其灵活的条件机制可以将多种信息源作为生成过程的指导信号。4.2.1 视觉条件扩散从图像目标到动作这是最直观的应用。给定一张目标场景的图像例如一个整洁的桌面扩散模型可以生成一系列动作使机器人将当前混乱的场景逐步改变至目标状态。更高级的应用是子目标图像生成模型根据语言指令如“把杯子放在盘子上”和当前摄像头视图生成一个想象中的、即将达到的中间状态图像然后用这个生成的目标图像来指导一个目标条件策略。这相当于让机器人在执行前先在“脑海”中想象出任务完成后的样子。4.2.2 本体感知与力觉条件扩散精细操控的触觉对于需要精细接触和力控的任务如插拔、拧螺丝、揉面纯视觉信息是不够的。视觉-触觉扩散策略将力传感器和触觉传感器的读数也作为条件输入。模型在学习过程中会同时看到摄像头画面和触觉信号从而学会生成既能达成视觉目标又能满足接触力要求的动作。例如在插入USB接口时模型需要学会在感受到特定阻力时微调姿态而不是一味蛮推。为了满足实时控制的要求研究人员提出了渐进式细化等技术。其思想是先快速生成一个粗糙的动作序列草图然后在每个控制周期只对即将执行的那部分动作进行一步或几步精细去噪从而将扩散模型的高延迟分摊到多个控制周期中实现准实时的性能。4.2.3 语言与人类行为条件扩散直观的交互语言为扩散模型提供了高层的语义引导。通过将指令文本编码为条件向量我们可以让扩散模型生成符合“温柔地”、“快速地”等副词修饰的动作风格。更有趣的是人类行为条件扩散。通过观察人类的早期动作例如伸手的方向和速度扩散模型可以预测人类的完整意图并生成与之协作的、易于理解的机器人动作。例如在共同搬运物体时机器人可以根据人类伙伴的发力趋势提前调整自己的施力点和力度使协作更流畅、更舒适。避坑指南扩散模型的实际挑战尽管前景广阔但在机器人上部署扩散模型仍需克服几个实际障碍采样延迟迭代去噪过程通常需要数十步前向传播即使使用优化过的UNet其延迟也远高于单次前向的判别式模型。在实时控制中这常常是不可接受的。解决方案包括使用蒸馏技术训练更快的学生模型、采用一致性模型等一步生成方法或上述的渐进式细化。安全性保障扩散模型生成的动作是随机的可能包含导致碰撞或动力学违规的危险动作。必须在采样过程中加入约束引导。常见方法有在去噪过程的每一步用基于模型的预测器检查动作的安全性并调整噪声预测方向或者使用分类器引导将安全约束作为一个额外的条件信号。条件漂移的敏感性如果作为条件的视觉或语言特征存在噪声或错误例如错误识别了物体扩散模型的生成过程可能会被严重误导。因此一个鲁棒的感知前端是扩散策略成功的先决条件。通常需要集成不确定性估计模块当感知置信度低时触发更保守的故障安全策略。5. 卷积与混合编码器稳健感知的基石无论高层决策模型多么强大它们都依赖于对物理世界原始信号主要是像素的可靠理解。卷积神经网络及其与Transformer的混合体构成了机器人感知系统的第一道关口负责将高维、嘈杂的感官数据转化为紧凑、富含语义的潜在表征。5.1 CNN局部特征提取的专家CNN通过其局部连接和权重共享的归纳偏置天生擅长捕捉图像的局部空间模式如边缘、角点、纹理。这种特性使其在像素级空间定位、物体分类等任务上依然保持着难以替代的优势。在机器人领域像ResNet、EfficientNet这样的经典CNN架构常被用作“冻结”的视觉编码器。例如R3M模型使用在大型人类视频数据集Ego4D上预训练的ResNet-50提取的视频特征能够有效提升机器人模仿学习的样本效率。其逻辑在于这些在互联网规模数据上预训练的CNN已经学会了识别成千上万的物体和场景具备强大的零样本泛化能力。机器人即使遇到一个从未训练过的物体也能获得一个有意义的特征表示。5.2 混合架构局部与全局的协同然而纯CNN在建模长距离依赖和全局上下文方面存在局限。为此CNN-Transformer混合架构成为主流。其典型模式是使用一个CNN骨干网络如EfficientNet作为“特征提取器”将原始图像下采样为一系列特征图然后通过一个“令牌化”模块如TokenLearner将这些特征图压缩成一小撮视觉令牌最后将这些视觉令牌与语言令牌、本体感知令牌一起送入一个Transformer进行跨模态融合和序列决策。RT-1模型是这一范式的成功典范。它的EfficientNet编码器负责从图像中提取丰富的空间特征TokenLearner将这些特征聚合成少数关键令牌极大地减少了后续Transformer需要处理的序列长度最后Transformer综合所有信息输出离散化的动作命令。这种设计在效率和性能之间取得了良好平衡。5.3 作为通才智能体的令牌化器在追求通用性的机器人基础模型中如何高效地将高维图像输入到序列模型Transformer或SSM中是一个核心问题。CNN在这里扮演了高效令牌化器的角色。例如Gato和RoboCat这类通才智能体都采用了一个轻量级的CNN或VQ-VAE等生成式令牌化器将图像转换为离散的令牌序列。这些令牌与文本、动作令牌在同一个序列模型中处理。这样做的好处是带宽效率高一张224x224的RGB图像有150,528个像素值而经过CNN编码和令牌化后可能只用几十个令牌就能表征其核心信息极大减轻了序列模型的负担。技术选型思考CNN vs. ViT 作为视觉编码器当你为机器人系统选择视觉编码器时面临一个经典权衡选择CNN如ResNet, EfficientNet如果你的任务极度依赖细粒度的空间细节如精确的抓取点检测、边缘跟踪计算资源严格受限需要极低的推理延迟你拥有大量与任务高度相关的标注数据可以进行微调。选择ViT如果你的任务需要强大的全局场景理解如场景分类、开放词汇检测你追求更好的零样本和少样本迁移能力你有充足的算力进行预训练或微调并且能接受稍高的延迟。实用建议对于大多数端到端的机器人策略学习从预训练的CNN特别是EfficientNet系列开始是一个稳健且高效的选择。它的特征已经足够丰富且推理速度快。当你发现模型在需要理解复杂场景关系的任务上表现不佳时再考虑升级到ViT或混合架构。同时务必在真实机器人上测试编码器的推理速度确保其能满足控制回路的频率要求。6. 图形模型结构化推理与关系理解的引擎当机器人身处一个充满物体、agent和复杂关系的动态环境中时仅仅拥有强大的感知和序列预测能力是不够的。它还需要理解物体之间的空间关系“在...上面”、“在...左边”、功能关系“可用于切割”、“可被坐”以及动作之间的因果逻辑。图形模型正是为这种结构化关系推理而生的工具。6.1 核心价值从关联数据到组合泛化与将数据视为网格图像或序列文本的模型不同图形模型将世界表示为节点实体如物体、房间、机器人自身和边关系如空间关系、语义关系、动作影响的集合。这种表示具有几个关键优势组合泛化模型学习的是“关系”本身而不是特定的物体组合。一旦学会了“支撑”关系它就能推断出“桌子支撑杯子”即使它从未在训练中见过这张特定的桌子或杯子。排列不变性图的推理不依赖于节点输入的顺序这更符合物理世界的本质。可解释性基于图的推理过程更容易被人类理解和调试因为决策可以追溯到图中具体的节点和边。6.2 在机器人系统中的具体形态6.2.1 场景图环境的语义蓝图开放词汇3D场景图是机器人高阶认知的核心数据结构。它通过视觉-语言模型如CLIP将场景中的物体节点与语义概念“椅子”、“红色”关联起来并用边表示物体间的空间关系“椅子在桌子下”和可能的交互关系“人可以坐在椅子上”。这种结构使机器人能够进行复杂的语义查询和规划。例如当收到指令“把那个放在电视遥控器旁边的马克杯拿过来”机器人可以1. 在场景图中定位“电视遥控器”节点2. 查找其空间邻域找到“马克杯”节点3. 根据这两个节点的3D位置信息规划抓取路径。与稠密的点云地图相比场景图是一种极其紧凑的语义表示非常适合长期记忆和跨场景的知识共享。6.2.2 图神经网络关系推理的学习器场景图提供了结构而图神经网络则是在这种结构上进行学习和预测的引擎。GNN通过“消息传递”机制让节点之间交换信息。在机器人任务分配中可以将多个机器人或任务表示为图的节点通过GNN学习最优的分配策略。在操作规划中可以将物体及其可执行的动作affordance建模为图GNN可以预测执行某个动作后图状态的变化从而进行因果推理。最新的研究趋势是将GNN与符号规划器或LLM结合。例如LLM负责根据语言指令生成一个抽象的任务图高层规划而GNN则负责将这个任务图“落地”到具体的场景图上检查每一步的物理可行性如物体是否够得着是否有遮挡形成可执行的细粒度计划。6.2.3 具身图与共享图多机器人协作的抽象具身图将机器人自身的形态结构也编码为图其中节点代表关节或连杆边代表连接关系或运动约束。这使得学得的策略能够更容易地迁移到不同形态的机器人上实现跨具身零样本迁移。一个在六轴机械臂上学会的抓取策略通过调整具身图的参数可能无需训练就直接适用于一个七轴机械臂或四足机器人。共享图则关注多机器人系统的协同。在去中心化的机器人团队中每个机器人维护一个本地场景图。为了协同规划它们需要共享地图信息。直接共享原始点云数据带宽要求太高。而共享压缩后的场景图只包含关键物体和关系则能在极低的通信开销下让团队建立起对环境的共同理解实现高效的协同探索与任务执行。实施难点与解决方案图形模型并非银弹其应用面临挑战计算开销在大规模场景图中进行GNN消息传递可能带来实时性挑战。解决方案包括使用层次化图结构将房间作为超级节点、在非关键路径上异步更新图或采用轻量级的关系推理网络。动态拓扑真实环境中物体位置和关系时刻在变化。图结构需要在线更新。一个实用的方法是定期例如每秒用最新的感知结果刷新场景图并使用时间滤波如指数平滑来稳定节点和边的属性避免因感知抖动导致的图结构剧烈波动。与潜在空间的集成图形模型通常需要与深度学习模型产生的潜在特征向量协同工作。常见的模式是“神经符号”系统神经网络如ViTLLM负责从原始数据生成图的节点和边符号化而图形模型则在这些符号上进行逻辑推理和规划。确保符号生成感知的准确性是整个系统可靠性的基础。7. 架构选型与系统设计综合指南面对五种各具特色的神经网络架构如何为你的机器人项目做出明智的选择这绝非简单的“谁更好”的问题而是一个基于任务需求、硬件约束和系统级目标的综合权衡过程。下面这张对比表概括了它们的核心特性架构核心功能主要机制关键优势主要局限典型模型Transformer多模态对齐、高级推理、任务分解、跨平台技能迁移全局自注意力、位置编码、自回归预测、思维链长程依赖建模、架构统一、规划效率高计算复杂度高O(N²)、需离散化令牌、无限上下文矛盾RT-2, PaLM-E, Gato, OpenVLA, Octo状态空间模型时序序列建模、实时边缘控制、高频状态估计、长程上下文记忆动态系统离散化、选择性扫描算子、硬件感知内核、输入依赖门控线性计算复杂度、稳定的长时程记忆、部署效率高令牌间直接关联弱、全局上下文建模较弱、常需混合设计RoboMamba, Mamba, AnoleVLA, Decision Mamba扩散模型多模态动作生成、高精度操控、滚动时域控制、轨迹评分估计基于分数的去噪、朗之万动力学、动作分块、潜在空间扩散多模态概率建模、复合条件生成、轨迹级决策采样延迟与能耗高、缺乏内置安全保障、对条件输入敏感Diffusion Policy, Diffuser, Motion Planning Diffusion, M2DiffuserCNN/混合编码器局部特征检测、像素级空间接地、多目标感知、物体分类可学习卷积层、局部连接、参数共享、池化操作零样本泛化能力强、对噪声鲁棒、所需训练数据少计算延迟高、可能丢失细节、存在分布偏移风险RT-1, R3M, VC-1, MVP图形模型因果推理、结构化规划、关系接地、状态转移图神经网络、符号推理、实体掩码、场景图序列化组合泛化、排列不变性、样本效率高、可解释性好计算开销大、动态拓扑建模难、需与潜在空间集成GRID, ConceptGraphs, HOV-SG, Open3DSG7.1 根据任务层级进行选择一个有效的设计思路是遵循机器人的分层认知架构在不同层级使用最合适的工具。高层任务规划与交互秒级响应这是Transformer的绝对主场。当机器人需要理解复杂的语言指令、进行多步推理、调用知识库或生成代码时Transformer的全局注意力机制和强大的语言理解能力无可替代。例如一个家庭服务机器人听到“我工作累了想放松一下帮我安排一下”时需要调用LLM进行意图理解、任务分解可能包括“播放音乐”、“调节灯光”、“准备饮料”并生成可执行的子计划。这个过程的延迟要求相对宽松几百毫秒到几秒均可接受但需要极高的认知能力。中层行为策略与序列控制毫秒到百毫秒级响应这是竞争最激烈的领域也是SSM和扩散模型大展拳脚的地方。如果你的任务要求极低的推理延迟如10ms、处理超长历史序列并且动作空间相对确定如高速四足跑步、无人机敏捷飞行SSM是首选。它的线性复杂度保证了实时性。如果你的任务充满不确定性需要生成多种合理的备选方案并且对动作的平滑性和多样性有要求如复杂环境下的机械臂避障抓取、与人协作的柔顺操作扩散模型更具优势。你可以接受其几十到上百毫秒的采样延迟以换取更鲁棒、更灵活的行为。低层感知与状态估计毫秒级响应这是CNN及其混合架构的传统优势领域。从摄像头流中实时检测物体、估计位姿、计算深度图需要的是稳定、快速、对局部特征敏感的网络。一个冻结的、预训练的CNN编码器如EfficientNet通常是感知模块的可靠起点。当需要更强的全局上下文时再考虑引入ViT或CNN-Transformer混合模块。结构化知识表示与推理异步处理当任务涉及长期记忆、多物体关系推理、因果推断或跨机器人知识共享时图形模型就该登场了。场景图通常作为后台知识库异步更新和维护。当高层规划器需要查询“厨房里所有可抓取的物体”或判断“移动A物体会不会导致B物体倒塌”时图形模型能提供高效的查询和推理。7.2 混合架构设计模式在实际系统中单一架构往往难以满足所有需求混合设计成为必然。以下是几种经过验证的有效模式感知-规划-执行流水线感知层CNN/ViT编码器处理图像生成视觉特征。世界模型层SSM或Transformer作为动力学模型预测动作对视觉特征潜在状态的影响。规划层扩散模型在潜在空间中进行多步轨迹规划或LLM图形模型进行符号规划。执行层一个轻量级的MLP或SSM将规划出的轨迹转换为低层控制指令。SSM主干 注意力专家模块使用一个SSM作为主干网络持续处理多模态输入流视觉、本体感知进行高效的时序融合和状态维护。当遇到需要复杂推理、工具使用或精确符号匹配的任务时激活一个并行的、轻量级的注意力模块或检索模块来处理这个“子问题”。这种“条件计算”模式在保持整体效率的同时弥补了SSM在精确关联能力上的不足。扩散策略 安全滤波器扩散模型作为主策略负责生成多样化的候选动作序列。并行运行一个基于物理模型的快速仿真器或一个学习得到的价值函数/安全分类器对扩散模型采样出的多个候选轨迹进行评分和筛选只执行最安全、最优的那一条。这结合了生成模型的创造性和判别模型的安全性。7.3 硬件与部署考量最终所有算法都需要在真实的硬件上运行。架构选型必须与硬件能力紧密绑定。云端协同将计算密集型的Transformer LLM或大型扩散模型放在云端或边缘服务器上负责高级规划和指令理解。机器人本体只运行轻量级的SSM策略网络、CNN感知编码器和底层控制器。通过可靠的通信链路如5G连接。这种模式适合对认知要求高、但对绝对实时性要求稍宽松的任务如导览、复杂物品整理。端侧部署对于需要极高可靠性、低延迟或在不稳定网络环境中工作的机器人如自动驾驶、野外勘探必须将所有模型部署在车载计算单元上。这意味着你必须极度关注模型的大小和推理速度。此时SSM、精心设计的混合CNN架构以及高度优化的轻量级Transformer如通过蒸馏、量化、剪枝是优先选择。图形模型也因其紧凑的符号表示适合在端侧维护。内存与功耗Transformer的注意力机制是内存消耗大户尤其是在处理长序列时。SSM和CNN在这方面更具优势。扩散模型的迭代采样过程会导致较高的功耗。在电池供电的移动机器人上需要严格评估每次决策的能耗预算。在我参与的多个机器人项目中一个深刻的体会是没有最好的架构只有最合适的组合。成功的系统设计始于对任务需求的清晰剖析你需要多快的反应速度任务的不确定性有多高是否需要理解自然语言硬件算力的天花板在哪里回答这些问题才能绘制出属于你当前项目的最优技术蓝图。从一个简单但可靠的基线系统例如CNN编码器 LSTM策略开始逐步引入更复杂的组件如用Transformer增强语言理解用扩散模型增加行为多样性并持续在真实或高保真仿真环境中进行测试和迭代是通往稳健机器人智能体的务实路径。