NWPU-CROWD数据集处理全流程：从下载到预处理（附CCTrans代码详解）

NWPU-CROWD数据集处理全流程从下载到预处理附CCTrans代码详解如果你正在研究人群计数或定位任务NWPU-CROWD数据集无疑是一个不可忽视的重要资源。作为目前最大规模的人群计数基准数据集之一它包含了5109张高分辨率图像和3609个标注文件覆盖了从稀疏到极度密集的各种人群场景。但要让这些数据真正为你的模型所用从下载到预处理的每一步都需要精心处理。本文将带你完整走一遍这个流程特别是如何利用CCTrans代码库高效完成数据预处理。1. 数据集获取与初始配置NWPU-CROWD数据集需要通过官方渠道申请获取。成功下载后你会得到一个压缩包解压后目录结构如下NWPU-CROWD/ ├── images/ ├── jsons/ └── mats/关键操作步骤创建三个空文件夹images、jsons和mats将所有图像文件images 1-5b解压到images目录part1-4各包含1000张图像5a包含500张5b包含609张将mats.zip解压到mats目录得到3609个.mat文件同样处理json文件确保jsons目录下也有3609个.json文件注意解压后确保文件直接位于目标目录下不要有嵌套的子文件夹结构。这是后续处理能够顺利进行的前提。2. 理解数据集结构与标注格式NWPU-CROWD的标注信息以两种格式提供.mat和.json。理解这些标注文件的组织结构对后续处理至关重要。.mat文件内容解析每个.mat文件包含一个annPoints数组记录了图像中每个人的坐标位置。例如import scipy.io as sio data sio.loadmat(example.mat) points data[annPoints] # 形状为[N,2]每行表示一个人的(x,y)坐标数据集划分NWPU-CROWD已经预设了训练集、验证集和测试集的划分相关信息存储在三个.txt文件中train.txt训练集图像列表val.txt验证集图像列表test.txt测试集图像列表3. 使用CCTrans进行数据预处理CCTrans是一个专门为人群计数任务设计的数据处理工具其预处理流程主要包括图像尺寸调整和密度图生成两个关键步骤。3.1 配置预处理环境首先克隆CCTrans代码库git clone https://github.com/wfs123456/CCTrans.git cd CCTrans核心预处理脚本是preprocess_dataset.py我们需要根据实际情况修改以下参数parser argparse.ArgumentParser(descriptionPreprocess) parser.add_argument(--dataset, defaultnwpu, helpdataset name) parser.add_argument(--input-dataset-path, defaultdata/nwpu, help原始数据集路径) parser.add_argument(--output-dataset-path, defaultdata/NWPU-Train-Val-Test, help处理后数据输出路径) args parser.parse_args()3.2 预处理核心算法解析CCTrans的预处理包含几个关键技术点图像尺寸调整保持长宽比的同时将短边缩放到384像素长边不超过1920像素尺寸调整后确保能被16整除以适应后续的卷积操作def cal_new_size_v2(im_h, im_w, min_size, max_size): # 计算缩放比例确保输出尺寸在[min_size, max_size]范围内 # 并且能被16整除 rate 1.0 * max_size / im_h rate_w im_w * rate if rate_w max_size: rate 1.0 * max_size / im_w tmp_h int(1.0 * im_h * rate / 16) * 16 # ... 其他边界条件处理 ... return tmp_h, tmp_w, rate_h, rate_w密度图生成使用高斯核将离散的点标注转换为连续的密度图每个标注点对应一个二维高斯分布σ8def gen_density_map_gaussian(im_height, im_width, points, sigma4): density_map np.zeros([im_height, im_width], dtypenp.float32) for p in points: # 为每个点创建高斯核 gaussian_radius sigma * 2 - 1 gaussian_map np.multiply( cv2.getGaussianKernel(int(gaussian_radius*21), sigma), cv2.getGaussianKernel(int(gaussian_radius*21), sigma).T ) # ... 边界处理 ... density_map[...] gaussian_map return density_map / (np.sum(density_map / num_gt))3.3 执行预处理流程配置好参数后运行预处理脚本python preprocess_dataset.py --dataset nwpu \ --input-dataset-path /path/to/nwpu \ --output-dataset-path /path/to/output预处理过程会比较耗时因为需要为每张图像调整尺寸生成密度图保存处理后的图像和标注4. 处理后的数据结构与应用成功运行后输出目录结构如下NWPU-Train-Val-Test/ ├── train/ │ ├── xxx.jpg │ ├── xxx.npy # 调整后的点标注 │ └── xxx_densitymap.npy # 密度图 ├── val/ │ └── ... # 同上 └── test/ └── ... # 仅包含调整尺寸后的图像文件格式说明.npy文件存储调整后的点坐标可直接用np.load()读取_densitymap.npy存储生成的人群密度图用于模型训练测试集仅包含图像不提供标注信息5. 实际应用中的注意事项内存管理NWPU-CROWD图像分辨率较高批量加载时注意内存消耗建议使用生成器(generator)方式逐步加载数据数据增强训练时可添加随机裁剪、翻转等增强策略注意同步变换点标注和密度图测试集处理测试集没有真实标注评估需要使用官方提供的评估服务器预处理时只需调整图像尺寸无需生成密度图多尺度训练由于场景多样性建议在训练时采用多尺度策略CCTrans默认的384×任意尺寸是一个较好的起点性能优化预处理过程可并行化加速对于大型实验建议预先处理好所有数据并保存预处理完成后你就可以将数据直接输入到各种人群计数模型中进行训练了。无论是基于CNN的密度图估计方法还是最新的transformer架构良好的数据预处理都是获得优秀性能的基础。