LingBot-MapGitHub 地址https://github.com/Robbyant/lingbot-map简介LingBot-Map​ 是由 Robbyant 团队开源的一个前馈式 3D 基础模型专为流式Streaming3D 场景重建而设计。它摒弃了传统 SLAM 或 NeRF 需要复杂迭代优化的范式采用纯 Transformer 架构实现了“看一眼图像就实时吐出 3D 点云”的高效推理。该模型的核心创新在于Geometric Context Transformer它通过锚点上下文Anchor Context、位姿参考窗口Pose-Reference Window和轨迹记忆Trajectory Memory机制在单一框架内统一了坐标落地、密集几何线索和长距离漂移校正。简单来说LingBot-Map 能够像人眼一样在边走边拍的过程中实时且稳定地构建出周围环境的 3D 地图特别适合机器人、AR/VR 和自动驾驶等对实时性要求极高的场景。主要功能1. 几何上下文 Transformer 架构坐标落地与几何感知模型不仅理解图像的语义更通过几何上下文模块直接建模深度和 3D 结构解决了传统视觉 Transformer 在几何任务中的“坐标模糊”问题。长序列稳定性内置的轨迹记忆机制能够缓存历史关键帧信息有效对抗长时间运行产生的累积漂移支持超过 10,000 帧的超长序列重建。2. 生产级流式推理性能前馈式设计无需迭代优化输入图像序列模型直接前向传播输出 3D 点云推理速度在 518×378 分辨率下可达~20 FPS。Paged KV Cache 注意力集成 FlashInfer 库实现了分页 KV 缓存机制极大降低了长视频流处理时的显存占用避免了传统 Transformer 随序列长度增长而显存爆炸的问题。3. 即插即用的多模态输入多源输入支持支持从图像文件夹、视频文件可指定抽帧率直接进行流式重建。天空分割优化针对室外场景集成了 ONNX 天空分割模型可自动过滤掉天空像素点显著提升户外重建的纯净度和可视化效果。安装与配置环境要求Python 3.10推荐使用 Conda 管理环境。PyTorch 2.9.1 CUDA 12.8需匹配 CUDA 版本。GPU支持 CUDA 的 NVIDIA GPU显存建议 ≥ 8GB处理长序列建议 ≥ 16GB。部署步骤创建环境conda create -n lingbot-map python3.10 -y conda activate lingbot-map安装 PyTorchpip install torch2.9.1 torchvision0.24.1 --index-url https://download.pytorch.org/whl/cu128安装 LingBot-Mapgit clone https://github.com/Robbyant/lingbot-map.git cd lingbot-map pip install -e .安装加速依赖推荐# 安装 FlashInfer 以启用 Paged KV Cache提升长序列性能 pip install flashinfer-python -i https://flashinfer.ai/whl/cu128/torch2.9/安装可视化依赖可选用于 Web UIpip install -e .[vis]模型下载从 Hugging Face 或 ModelScope 下载预训练权重约 4.63 GBHugging Face:robbyant/lingbot-mapModelScope:Robbyant/lingbot-map如何使用基础演示Web 可视化项目提供了基于Viser​ 的浏览器可视化界面默认端口 8080运行以下命令即可启动交互式 3D 查看器python demo.py --model_path /path/to/checkpoint.pt --image_folder example/church --mask_sky输入源模式图像序列模式python demo.py --model_path /path/to/checkpoint.pt --image_folder /path/to/your/images视频流模式python demo.py --model_path /path/to/checkpoint.pt --video_path video.mp4 --fps 10高级参数调优处理长序列3000 帧使用--mode windowed --window_size 64启用滑动窗口推理避免显存溢出。节省显存使用--keyframe_interval 6设置关键帧间隔非关键帧不缓存大幅降低 KV Cache 内存占用。天空分割添加--mask_sky参数可自动过滤天空区域室外场景强烈推荐分割模型首次运行会自动下载。应用场景实例无代码场景一室内移动机器人建图与导航痛点传统 SLAM 在纹理缺失或光线剧烈变化的场景下容易丢失定位且建图精度受迭代优化影响大。LingBot-Map 方案将摄像头搭载于机器人上实时采集视频流。使用 LingBot-Map 的流式推理模式实时生成稠密 3D 点云地图。价值即使机器人快速移动或环境光照突变模型也能依靠几何上下文保持稳定的地图构建为路径规划提供高鲁棒性的环境感知。场景二文化遗产的快速数字化存档痛点对古建筑、考古遗址进行 3D 扫描通常需要昂贵的激光雷达设备且后期处理耗时。LingBot-Map 方案工作人员手持手机或相机围绕古迹走一圈拍摄视频。将视频输入 LingBot-Map设置--fps 5和--mask_sky若为室外。价值在普通消费级硬件上仅需视频素材即可快速生成高保真的 3D 点云模型极大降低了文化遗产数字化的门槛和成本。场景三自动驾驶的实时局部场景感知痛点自动驾驶车辆需要实时理解周围环境的 3D 结构但激光雷达点云稀疏且成本高纯视觉方案又难以保证几何精度。LingBot-Map 方案利用车载环视摄像头作为输入源。部署 LingBot-Map 模型以 ~20 FPS 的速度实时输出车辆周围 360° 的稠密 3D 结构。价值为自动驾驶系统提供了低成本、高帧率的几何感知能力作为激光雷达的有效补充尤其在判断障碍物距离和地形起伏时提供精准信息。总结LingBot-Map 代表了 3D 视觉领域向“基础模型”演进的重要一步。它将复杂的 3D 重建问题转化为端到端的前馈推理任务极大地提升了效率和易用性。对于研究者和工程师而言它是探索流式 3D 感知的理想基线对于应用开发者它是构建实时空间计算应用的强大引擎。GitHub 地址https://github.com/Robbyant/lingbot-map