Waymo数据集预处理全攻略Street Gaussians训练数据准备指南【免费下载链接】street_gaussiansCode for Street Gaussians for Modeling Dynamic Urban Scenes项目地址: https://gitcode.com/gh_mirrors/st/street_gaussiansStreet Gaussians是一个用于动态城市场景建模的开源项目本文将详细介绍如何使用该项目提供的工具对Waymo数据集进行预处理为模型训练做好数据准备。通过本文的指南你将能够轻松完成从原始数据到训练可用数据的完整流程。为什么需要预处理Waymo数据集Waymo开放数据集包含丰富的自动驾驶场景数据但原始数据格式复杂包含激光雷达点云、多视角图像、车辆轨迹等多种信息。直接使用原始数据进行训练会面临数据格式不统一、冗余信息多、计算资源消耗大等问题。Street Gaussians项目提供了一系列预处理工具帮助用户将原始Waymo数据转换为适合高斯建模的格式为后续的动态场景建模打下基础。预处理工具概览Street Gaussians项目的Waymo数据集预处理工具位于script/waymo/目录下主要包括以下几个核心脚本waymo_converter.py将Waymo原始数据转换为项目所需的标准格式generate_sky_mask.py生成天空区域掩码generate_lidar_depth.py从激光雷达数据生成深度图generate_mono_depth.py生成单目深度估计generate_mono_normal.py生成法向量估计这些工具协同工作完成从原始数据到训练数据的转换。下面我们将详细介绍各个工具的使用方法和工作流程。数据预处理完整流程1. 数据转换waymo_converter.pywaymo_converter.py是整个预处理流程的核心工具负责将Waymo原始的tfrecord文件转换为项目所需的图像、激光雷达点云、相机参数等数据格式。该脚本的主要功能包括提取相机图像数据处理激光雷达点云计算相机内外参数提取动态目标跟踪信息生成动态掩码基本使用命令如下python script/waymo/waymo_converter.py --process_list pose calib image lidar track dynamic_mask --root_dir /path/to/waymo/data --save_dir /path/to/save --split_file /path/to/split/file --segment_file /path/to/segment/file其中--process_list参数指定需要处理的数据类型包括pose车辆位姿calib相机校准参数image图像数据lidar激光雷达点云track目标跟踪信息dynamic_mask动态目标掩码2. 天空掩码生成generate_sky_mask.py天空区域在城市场景中通常是静态的为了提高模型效率generate_sky_mask.py工具使用Grounding DINO和Segment Anything模型自动生成天空区域的掩码。该脚本的工作流程如下使用Grounding DINO模型检测图像中的天空区域利用Segment Anything模型对检测到的天空区域进行精确分割生成二值化的天空掩码图像使用命令示例python script/waymo/generate_sky_mask.py --datadir /path/to/converted/data --sam_checkpoint /path/to/sam/checkpoint --box_threshold 0.3 --text_threshold 0.253. 深度图生成generate_lidar_depth.py激光雷达深度图生成工具将激光雷达点云投影到图像平面生成精确的深度信息。这些深度图可用于监督单目深度估计或作为模型训练的辅助信息。使用命令示例python script/waymo/generate_lidar_depth.py --datadir /path/to/converted/data4. 单目深度和法向量估计对于没有激光雷达数据的场景或作为激光雷达深度的补充项目提供了单目深度和法向量估计工具# 生成单目深度估计 python script/waymo/generate_mono_depth.py --datadir /path/to/converted/data # 生成法向量估计 python script/waymo/generate_mono_normal.py --datadir /path/to/converted/data配置文件设置Street Gaussians项目使用YAML配置文件来管理预处理和训练参数。在configs/experiments_waymo/目录下提供了多个预定义的配置文件如waymo_val_006.yamlwaymo_val_026.yamlwaymo_val_090.yaml你可以根据自己的需求修改这些配置文件或创建新的配置文件来调整预处理参数。完整预处理脚本为了方便用户使用项目提供了训练和推理的Shell脚本模板train_waymo_example.sh训练示例脚本render_waymo_example.sh渲染示例脚本你可以根据实际需求修改这些脚本中的参数如数据路径、训练轮数、批处理大小等。常见问题解决内存不足Waymo数据集体积较大预处理过程需要较多内存。建议使用至少16GB内存的机器并分批处理数据。依赖项问题确保已安装所有必要的依赖项可以参考项目根目录下的requirements.txt文件。模型下载部分工具如generate_sky_mask.py需要下载预训练模型确保网络连接正常或手动下载并指定模型路径。数据路径设置所有脚本都需要正确设置数据路径建议使用绝对路径以避免混淆。通过以上步骤你可以完成Waymo数据集的预处理为Street Gaussians模型训练做好准备。预处理后的数据集将包含模型所需的所有信息包括图像、深度图、动态掩码、相机参数等为后续的动态城市场景建模奠定基础。【免费下载链接】street_gaussiansCode for Street Gaussians for Modeling Dynamic Urban Scenes项目地址: https://gitcode.com/gh_mirrors/st/street_gaussians创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考