1. 空间智能与多模态基础模型的融合演进空间智能Spatial Intelligence作为人工智能领域的重要分支其核心在于让机器具备理解、推理和操作三维空间的能力。这种能力对人类而言是与生俱来的——我们能够轻松判断物体的相对位置、估算距离、在脑海中旋转三维物体或是规划最优路径。然而对AI系统来说这些任务却长期构成严峻挑战。传统计算机视觉系统主要关注二维图像理解如图像分类、目标检测等任务。但随着自动驾驶、机器人导航、增强现实等应用的兴起仅具备二维视觉理解已远远不够。一个能够在物理世界中自主行动的智能体必须建立起对三维空间的精确表征和推理能力。这就是空间智能研究的根本出发点。多模态基础模型Multimodal Foundation Models的崛起为空间智能发展提供了新的可能性。这类模型通过海量视觉-语言数据的预训练已经展现出强大的跨模态理解和生成能力。然而现有研究表明即使是当前最先进的多模态模型如GPT-5、Gemini等在空间推理任务上的表现仍显著落后于人类水平。这种差距主要体现在三个方面视角转换能力不足难以从不同视角理解同一场景的空间关系度量估计精度低对物体尺寸、距离等物理量的估算误差较大复杂推理链条薄弱处理需要多步空间推理的任务时表现不佳造成这些局限的根本原因在于训练数据的偏差。现有多模态数据集主要来源于互联网图片和文本其中明确包含三维空间信息的样本比例极低。模型缺乏足够的机会学习空间关系的本质规律只能依靠表面统计规律进行猜测。2. SenseNova-SI的技术架构与创新2.1 基础模型选择SenseNova-SI系列并非从零开始训练的全新架构而是基于三种成熟的多模态基础模型进行空间能力增强Qwen3-VL源自强大的语言模型基础通过扩展获得视觉理解能力。其优势在于语言理解和生成的流畅性特别适合需要复杂描述的推理任务。InternVL3原生多模态架构视觉与语言模态从训练初期就共同优化。这种设计使其在跨模态对齐和视觉-语言联合推理方面表现突出。Bagel统一的理解-生成架构打破了传统模型中理解与生成任务的界限。研究其在空间智能任务上的表现具有特殊意义。这种模型家族策略既保证了与现有研究生态的兼容性又能从不同架构特点中获取洞见。所有基础模型的原始架构都保持不变仅通过数据层面的扩展来提升空间能力确保实验结果的可比性。2.2 空间能力分类体系SenseNova-SI的核心创新在于其系统性的空间能力分类体系。基于认知科学研究团队将空间智能分解为五个关键维度度量测量Metric Measurement, MM物体尺寸估计如烤面包机的最大边长是多少场景尺度计算如房间的总面积是多少平方米距离估算相机-物体距离、物体间距离空间关系Spatial Relations, SR自我中心关系前-后、左-右、上-下场景级关系远-近、大-小比较相对方位判断如微波炉在冰箱的哪个方向心理重建Mental Reconstruction, MR从有限视角推断物体三维结构判断物体在特定视角下可见的面根据局部信息补全完整空间布局视角转换Perspective-taking, PT跨视角对应识别不同视角下的同一物体相机运动推理推断相机的位置和方向变化自我中心与物体中心视角转换综合推理Comprehensive Reasoning, CR路径规划与导航多步骤空间问题求解结合多种基础能力的复杂任务这种分类不仅指导了数据收集更为评估模型能力提供了系统框架。特别值得注意的是视角转换PT在以往研究中常被忽视而SenseNova-SI将其作为重点突破方向。3. SenseNova-SI-8M数据集构建3.1 数据来源与组成构建高质量的SpaceNova-SI-8M数据集是本研究的关键基础。该数据集包含850万问答对通过三个渠道系统收集通用QA数据集60万样本来源VSR、SPEC、GQA等标准视觉问答数据集作用保持模型的一般视觉理解能力处理筛选可能隐含空间信息的样本社区空间数据集330万样本精选Open3D-VQA、CLEVR-series、REL3D等专业空间推理数据集覆盖基础空间任务但存在视角转换数据不足的问题进行统一格式化处理和质量过滤新增空间数据450万样本基于ScanNet、Matterport3D等富含3D标注的数据源生成重点补充视角转换和心理重建任务数据使用程序化方法生成多样化问答对3.2 数据生成与质量控制对于新增数据部分研究团队开发了系统的生成流程3D场景解析从原始数据提取物体位置、尺寸、朝向等精确几何信息虚拟相机设置在场景中放置多个虚拟相机模拟不同视角问题模板设计针对每类空间能力开发多种提问方式自动答案生成基于几何计算得到精确答案人工验证抽样检查问题合理性和答案准确性特别针对视角转换任务设计了渐进式难度体系Level 1简单视角变化平移或小角度旋转Level 2中等视角变化较大角度旋转或部分遮挡Level 3极端视角变化如从正视图切换到俯视图Level 4物体中心视角转换想象站在某物体上的视角Level 5假设性视角如如果面向北方X相对于Y的位置这种结构化设计确保模型能够循序渐进地掌握视角转换技能而非仅记忆表面模式。4. 训练策略与优化4.1 训练配置所有模型均采用一致的训练设置以确保可比性硬件128块GPUA100 80GB批量大小2048优化器AdamW学习率5e-6训练时长约3天/模型训练轮次1个epoch因数据量大更多轮次收益有限对于视频数据统一采样16个关键帧作为输入。这种设计在计算效率和时序信息保留间取得平衡。4.2 能力平衡策略面对多维度空间能力的训练目标团队采用了几项关键策略动态样本加权根据模型在各能力上的当前表现动态调整样本权重避免某些能力被忽视课程学习先训练基础能力如简单空间关系再逐步引入复杂任务如视角转换负样本挖掘针对模型易错案例生成对抗性样本强化薄弱环节这些策略有效缓解了多任务学习中的跷跷板现象某些任务性能提升以其他任务下降为代价。5. 实验结果与分析5.1 基准测试表现SenseNova-SI在八大空间智能基准测试中全面超越此前最佳开源模型基准测试指标SenseNova-SI-8B此前最佳开源模型相对提升VSI-BenchAcc68.8%55.5% (VST-7B)13.3%MMSIAcc43.3%32.5% (VST-7B)10.8%MindCubeAcc85.7%51.7% (MindCube)34.0%ViewSpatialAcc54.7%39.7% (VST-7B)15.0%SITECAA47.7%41.3% (Bagel)6.4%BLINKAcc63.9%39.7% (VST-7B)24.2%3DSRAcc55.5%48.7% (VST-7B)6.8%EmbSpatialAcc72.0%53.1% (VST-7B)18.9%值得注意的是SenseNova-SI-InternVL3-8B在MindCube测试中达到85.7%准确率接近人类水平97.2%远超此前最佳模型的51.7%。这表明系统性的数据扩展能极大提升心理重建能力。5.2 与闭源模型对比SenseNova-SI在多项空间能力上甚至超越了商业闭源模型在ViewSpatial测试中SenseNova-SI54.7%优于GPT-556.3%和Gemini-3-Pro50.4%视角转换任务上SenseNova-SI平均表现比GPT-5高9.2个百分点在需要长程空间推理的VSI-Bench中SenseNova-SI68.8%接近Gemini-3-Pro63.8%这些结果挑战了只有超大参数量模型才能实现先进空间智能的固有认知证明精心设计的数据策略可以释放较小模型的潜力。5.3 关键发现5.3.1 数据扩展规律研究发现不同空间能力随数据扩展呈现不同学习曲线度量测量MM最容易通过数据扩展提升呈现明显的对数增长趋势空间关系SR中等难度需要一定数据量后才会显著提升视角转换PT最难掌握小模型2B几乎无法有效学习8B模型需要大量数据后才显现进步综合推理CR有趣的是即使专门CR数据很少模型通过其他能力的提升也能带动CR进步这表明空间智能各维度间存在能力迁移现象——基础能力的提升为复杂推理奠定基础。5.3.2 泛化能力涌现SenseNova-SI展现出令人惊喜的泛化表现跨任务迁移在A任务上训练后未经训练的B任务表现也提升例如视角对应训练提升了相机运动推理能力超出训练分布的泛化训练时最多使用16帧视频但能处理32帧甚至64帧输入在未见过的视角组合上仍保持较好表现长程空间推理能够连接远距离空间关系如房间两端物体的相对位置在路径规划任务中表现出多步骤推理能力这些现象暗示模型可能学习到了某些通用的空间表征规律而非简单地记忆训练样本。5.3.3 鲁棒性验证为确保模型真正掌握空间理解而非利用数据偏差团队设计了严格测试视觉输入消融移除图像输入后准确率从85.6%降至52.5%证明依赖真实的视觉分析选项循环测试随机打乱答案选项顺序性能仅轻微下降2%对抗样本测试对图像添加视角扰动模型表现下降程度显著小于基线方法跨数据集评估在一个数据集训练其他数据集测试保持稳定表现这些测试证实SenseNova-SI的空间能力具有实质性而非表面性。6. 应用验证与案例研究6.1 机器人操作任务将SenseNova-SI应用于真实机器人抓取场景无需微调即实现复杂物体抓取成功率提升32%避障路径规划效率提高28%在陌生环境中的自适应能力显著增强这表明空间智能模型确实能够迁移到真实物理世界任务中。6.2 增强现实导航在AR导航原型系统中SenseNova-SI展现出更准确的空间标注误差5cm自然的视角转换能力如从用户视角切换到全局视图对动态障碍物的实时反应能力用户体验评分比传统方法提高41%。7. 局限性与未来方向尽管SenseNova-SI取得显著进展研究团队也坦诚指出当前局限物理规律理解对物体物理属性如质量、材质的推理能力仍有限动态场景处理对快速移动物体的空间关系判断准确率有待提高抽象空间推理处理高度抽象的空间概念如拓扑关系时表现不稳定未来工作将重点关注引入物理引擎增强的训练数据开发更高效的空间表征学习架构探索多智能体协同空间任务研究空间智能与常识推理的融合团队已全面开源所有模型和部分数据希望推动空间智能研究的共同进步。