避坑指南：用Python+OpenCV实现双目视差估计时常见的6个错误（附正确代码）

张

张建站

2026/8/16 18:50:36

10分钟阅读

避坑指南：用Python+OpenCV实现双目视差估计时常见的6个错误（附正确代码）

双目视觉实战避开视差估计的六个典型陷阱与高效实现方案在自动驾驶、机器人导航和三维重建等前沿领域双目立体视觉是实现深度感知的核心技术之一。许多开发者和研究者在初次尝试将理论转化为实际可运行的代码时常常会陷入一些看似基础、却足以导致项目失败的“坑”中。这些错误不仅影响视差图的质量更可能让整个实时系统变得缓慢而不稳定。本文旨在结合工程实践深入剖析在利用Python和OpenCV实现双目视差估计时开发者最容易犯的六个典型错误。我们将逐一拆解这些陷阱背后的原理并通过对比错误与正确的代码片段提供可直接集成到项目中的解决方案。特别地我们会关注如何在保证精度的前提下满足自动驾驶等场景对实时性的严苛要求。1. 图像矫正被忽视的几何基础双目视觉的基石在于一对经过严格极线矫正的图像。未经矫正的图像对其匹配点并非位于同一水平线上这将使后续的视差搜索从一维问题退化为二维问题计算复杂度剧增且匹配精度难以保证。一个常见的错误是直接使用相机标定得到的相机矩阵和畸变系数进行简单的去畸变而忽略了立体矫正这一关键步骤。错误示范仅进行单目去畸变未进行立体矫正。import cv2 import numpy as np # 假设已通过标定得到参数 camera_matrix_left np.load(camera_matrix_left.npy) dist_coeffs_left np.load(dist_coeffs_left.npy) camera_matrix_right np.load(camera_matrix_right.npy) dist_coeffs_right np.load(dist_coeffs_right.npy) img_left_raw cv2.imread(left.jpg) img_right_raw cv2.imread(right.jpg) # 仅进行去畸变 img_left_undistorted cv2.undistort(img_left_raw, camera_matrix_left, dist_coeffs_left) img_right_undistorted cv2.undistort(img_right_raw, camera_matrix_right, dist_coeffs_right) # 错误直接使用去畸变后的图像进行立体匹配 # stereo cv2.StereoSGBM_create(...) # disparity stereo.compute(img_left_undistorted, img_right_undistorted)这段代码的问题在于去畸变后的左右图像坐标系并未对齐。正确的流程必须包含立体矫正它会产生一组重投影矩阵将两个相机的图像平面共面且行对齐。正确方案完整的立体标定与矫正流程。import cv2 import numpy as np # 加载标定得到的双目标定参数 camera_matrix_left np.load(camera_matrix_left.npy) dist_coeffs_left np.load(dist_coeffs_left.npy) camera_matrix_right np.load(camera_matrix_right.npy) dist_coeffs_right np.load(dist_coeffs_right.npy) R np.load(R.npy) # 旋转矩阵 T np.load(T.npy) # 平移向量 img_size (img_left_raw.shape[1], img_left_raw.shape[0]) # 关键步骤立体矫正 R1, R2, P1, P2, Q, validPixROI1, validPixROI2 cv2.stereoRectify( camera_matrix_left, dist_coeffs_left, camera_matrix_right, dist_coeffs_right, img_size, R, T, alpha0 ) # 计算映射表 map1_left, map2_left cv2.initUndistortRectifyMap( camera_matrix_left, dist_coeffs_left, R1, P1, img_size, cv2.CV_16SC2 ) map1_right, map2_right cv2.initUndistortRectifyMap( camera_matrix_right, dist_coeffs_right, R2, P2, img_size, cv2.CV_16SC2 ) # 应用矫正映射一次性计算可重复使用 img_left_rectified cv2.remap(img_left_raw, map1_left, map2_left, cv2.INTER_LINEAR) img_right_rectified cv2.remap(img_right_raw, map1_right, map2_right, cv2.INTER_LINEAR) # 此时img_left_rectified 和 img_right_rectified 已实现行对齐提示stereoRectify函数中的alpha参数控制裁剪程度。alpha0表示矫正后图像会被裁剪掉所有无效像素黑边保留有效区域最大但图像尺寸可能变小alpha1保留所有原始像素包含黑边。工程中常取alpha-1或0并在后续步骤中根据validPixROI裁剪图像以提高效率。2. 代价函数与窗口大小的盲目选择在OpenCV的StereoBM或StereoSGBM等算法中匹配代价计算和聚合窗口的大小是核心参数。新手常犯的错误是盲目使用默认参数或随意设置一个较大的窗口这会导致在纹理丰富区域过度平滑而在弱纹理区域噪声巨大。问题分析代价函数如SAD、SSD、Census和聚合窗口共同决定了匹配的敏感度和鲁棒性。大窗口能抑制噪声但会模糊边缘小窗口能保留细节但对噪声敏感。在自动驾驶场景中道路、天空等大面积弱纹理区域与车辆边缘、交通标志等细节区域并存需要权衡。优化策略采用自适应窗口或分区域策略。虽然OpenCV内置算法不支持动态改变窗口大小但我们可以通过预处理和参数调优来模拟。实践代码示例针对不同图像区域特性进行预处理。def adaptive_stereo_matching(img_left, img_right): # 步骤1计算图像纹理强度例如使用局部标准差 gray_left cv2.cvtColor(img_left, cv2.COLOR_BGR2GRAY) texture_map cv2.blur(gray_left, (3, 3)) # 简单平滑后计算梯度 sobelx cv2.Sobel(texture_map, cv2.CV_64F, 1, 0, ksize3) sobely cv2.Sobel(texture_map, cv2.CV_64F, 0, 1, ksize3) texture_strength np.sqrt(sobelx**2 sobely**2) # 步骤2根据纹理强度生成参数映射这里简化为二值化 _, texture_mask cv2.threshold(texture_strength.astype(np.uint8), 10, 255, cv2.THRESH_BINARY) # 步骤3对高纹理区域如边缘使用小窗口精细匹配 stereo_high_texture cv2.StereoSGBM_create( minDisparity0, numDisparities64, # 视差范围 blockSize3, # 小窗口 P18*3*3, P232*3*3, disp12MaxDiff1, uniquenessRatio15, speckleWindowSize0, speckleRange0, modecv2.STEREO_SGBM_MODE_SGBM_3WAY ) disp_high stereo_high_texture.compute(img_left, img_right) # 步骤4对低纹理区域如路面、天空使用大窗口增强鲁棒性 stereo_low_texture cv2.StereoSGBM_create( minDisparity0, numDisparities64, blockSize11, # 大窗口 P18*11*11, P232*11*11, disp12MaxDiff1, uniquenessRatio5, # 降低唯一性比率适应弱纹理 speckleWindowSize100, speckleRange2, modecv2.STEREO_SGBM_MODE_SGBM_3WAY ) disp_low stereo_low_texture.compute(img_left, img_right) # 步骤5融合结果根据纹理掩码 disparity np.where(texture_mask 0, disp_high, disp_low) return disparity.astype(np.float32) / 16.0 # SGBM结果需要除以16这种方法虽然增加了计算量但在静态场景或对精度要求极高的关键帧处理中非常有效。对于实时性要求极高的场景更常见的做法是离线调优一组折中的固定参数。3. 视差后处理的缺失与误用直接从立体匹配算法得到的原始视差图通常包含大量噪声、无效值特别是在遮挡区域和“空洞”。许多开发者忽略了后处理或者错误地应用了后处理步骤例如在视差优化前进行滤波反而破坏了视差边缘。典型错误流程计算原始视差。直接应用中值滤波或双边滤波去噪。进行左右一致性检查。这个顺序的问题是滤波可能会将正确的视差与错误的视差混合特别是跨越物体边界时使得后续的左右一致性检查失效。正确的后处理流水线应遵循以下顺序其核心思想是先剔除明显错误再平滑和填充步骤目的常用方法关键参数/说明1. 无效值过滤剔除置信度过低的匹配点唯一性比率检查、峰值比检查uniquenessRatio(SGBM中已内置)2. 左右一致性检查检测遮挡区和误匹配区计算左视差图与右视差图的对应关系容忍像素差通常设为1-23. 小连通区域剔除移除孤立的噪声点基于连通组件分析移除面积小的区域面积阈值根据图像分辨率设定4. 视差填充/插值填充因遮挡和剔除产生的空洞最近邻填充、方向性填充、基于分割的填充注意保持边缘5. 边缘保持滤波平滑视差图同时保持物体边界加权中值滤波、引导滤波、双边滤波滤波半径不宜过大代码实现示例关键步骤def postprocess_disparity(disp_left, disp_right, min_disparity0.0): 对左视差图进行后处理。 disp_left, disp_right: 经过除以16.0后的浮点型视差图。 h, w disp_left.shape postprocessed disp_left.copy() # 1. 左右一致性检查 (Left-Right Consistency Check) # 对于左图中的每个像素(i,j)其视差为d。 # 在右图中对应像素应为(i, j - d)。检查两者视差是否一致。 for y in range(h): for x in range(w): d disp_left[y, x] if d min_disparity: # 有效视差 x_in_right int(round(x - d)) if 0 x_in_right w: d_right disp_right[y, x_in_right] # 如果左右视差差异过大标记为无效 if abs(d - d_right) 1.0: # 阈值 postprocessed[y, x] min_disparity - 1 # 标记为无效 else: postprocessed[y, x] min_disparity - 1 # 2. 无效值标记这里用一个特殊值如-1 invalid_mask postprocessed min_disparity # 3. 小连通区域剔除 # 使用OpenCV的连通组件分析 retval, labels, stats, centroids cv2.connectedComponentsWithStats( (~invalid_mask).astype(np.uint8), connectivity8 ) # 假设stats结构为 [左上x, 左上y, 宽度, 高度, 面积] for i in range(1, retval): # 跳过背景标签0 if stats[i, cv2.CC_STAT_AREA] 50: # 面积小于50像素的连通区域视为噪声 postprocessed[labels i] min_disparity - 1 invalid_mask[labels i] True # 4. 空洞填充简单的水平方向最近有效值填充 disp_filled postprocessed.copy() for y in range(h): # 从左向右扫描用左侧最近的有效值填充 last_valid min_disparity for x in range(w): if invalid_mask[y, x]: disp_filled[y, x] last_valid else: last_valid disp_filled[y, x] # 从右向左扫描取两次填充的平均值或最小值减少单向填充的拉丝效应 last_valid min_disparity for x in range(w-1, -1, -1): if invalid_mask[y, x]: # 与从左向右的填充值平均 disp_filled[y, x] (disp_filled[y, x] last_valid) * 0.5 else: last_valid disp_filled[y, x] # 5. 边缘保持滤波使用加权中值滤波或引导滤波 # 使用引导滤波以左图灰度图作为引导图像 gray_left cv2.cvtColor(img_left_rectified, cv2.COLOR_BGR2GRAY).astype(np.float32) / 255.0 disp_filled_float disp_filled.astype(np.float32) # 注意引导滤波需要处理无效值区域可先对无效区域进行简单填充后再滤波 radius 5 # 滤波半径 eps 0.01 # 正则化参数 disp_filtered cv2.ximgproc.guidedFilter(gray_left, disp_filled_float, radius, eps) return disp_filtered注意上述后处理流程尤其是逐像素的循环操作在Python中可能成为性能瓶颈。在实际工程中应尽量使用向量化操作或利用cv2.ximgproc中的专用函数如cv2.ximgproc.weightedMedianFilter进行加速或考虑在C中实现核心模块。4. 视差搜索范围与图像金字塔的配置失误numDisparities视差搜索范围和minDisparity最小视差的设置直接决定了算法的搜索空间和计算量。一个常见的错误是将其设置为固定值如128而不考虑实际场景的深度范围。另一个错误是忽略了多尺度图像金字塔在加速和提升大视差区域精度方面的作用。错误配置的影响numDisparities过大计算量无谓增加实时性下降且可能引入更多噪声。numDisparities过小无法覆盖场景的最大深度最小视差远处物体视差计算错误。minDisparity非零如果场景中无穷远点视差为0存在设置minDisparity为正数会导致这部分区域无法匹配。动态确定视差范围的策略对于已知相机基线B和焦距f的系统可以根据预期的最近和最近观测距离Z_near和Z_far来估算视差范围d_near f * B / Z_near,d_far f * B / Z_far。numDisparities应设置为大于等于(d_near - d_far)且是16整数倍的值OpenCV要求。minDisparity通常可设为int(d_far)。利用图像金字塔加速 OpenCV的StereoSGBM支持modecv2.STEREO_SGBM_MODE_HH等模式但其内置的多尺度处理有限。我们可以手动构建图像金字塔实现由粗到精的匹配策略这在处理大视差或追求实时性时非常有效。代码示例基于图像金字塔的视差计算def compute_disparity_pyramid(img_left, img_right, num_disparities128, levels3): 使用图像金字塔进行由粗到精的视差计算。 levels: 金字塔层数0为原图。 # 构建高斯金字塔 pyramid_left [img_left] pyramid_right [img_right] for i in range(1, levels): pyramid_left.append(cv2.pyrDown(pyramid_left[-1])) pyramid_right.append(cv2.pyrDown(pyramid_right[-1])) # 在最顶层最小图像初始化视差图 stereo cv2.StereoSGBM_create( minDisparity0, numDisparitiesnum_disparities // (2**(levels-1)), # 顶层视差范围缩小 blockSize5, P18*5*5, P232*5*5, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize50, speckleRange2, modecv2.STEREO_SGBM_MODE_SGBM_3WAY ) current_disp stereo.compute(pyramid_left[-1], pyramid_right[-1]) current_disp current_disp.astype(np.float32) / 16.0 # 从粗到精逐层优化 for l in range(levels-2, -1, -1): # 将当前层视差图上采样到下一层分辨率并乘以2因为视差值与图像尺度成正比 h, w pyramid_left[l].shape[:2] disp_up cv2.resize(current_disp, (w, h), interpolationcv2.INTER_LINEAR) * 2.0 # 在当前层以粗估计的视差为中心设置一个较小的搜索范围进行精细匹配 search_range 16 # 精细搜索的视差范围 min_d np.maximum(0, np.floor(disp_up - search_range/2)).astype(np.int16) max_d np.minimum(num_disparities-1, np.ceil(disp_up search_range/2)).astype(np.int16) # 为每个像素动态设置minDisparity和numDisparities需要自定义匹配循环或使用支持ROI的算法 # 此处简化演示使用上采样后的视差作为初始值用一个小窗口的SGBM进行局部优化 # 注意OpenCV原生SGBM不支持逐像素的动态视差范围。此处为示意实际需更复杂实现或使用其他库。 # 一种近似做法是将图像分割成块对每块根据其平均视差动态设置参数。 stereo_fine cv2.StereoSGBM_create( minDisparity0, # 这里简化处理实际应以disp_up为参考 numDisparitiessearch_range, blockSize3, # 更小的窗口用于精细匹配 P18*3*3, P232*3*3, disp12MaxDiff1, uniquenessRatio5, speckleWindowSize0, speckleRange0, modecv2.STEREO_SGBM_MODE_SGBM_3WAY ) # 此处的计算只是示意因为minDisparity是全局的。真正实现需要更精细的算法。 fine_disp stereo_fine.compute(pyramid_left[l], pyramid_right[l]) fine_disp fine_disp.astype(np.float32) / 16.0 # 将精细匹配的视差相对值与粗估计的绝对位置结合 current_disp disp_up (fine_disp - search_range/2) # 简化叠加 # 更稳健的做法是使用warping-based方法将右图根据粗视差进行变换再在残差上进行小范围匹配。 return current_disp虽然完整的自适应金字塔实现在OpenCV中需要较多工作但理解其原理对于优化算法和排查问题至关重要。对于实时性要求极高的场景可以考虑使用固定尺度的下采样图像进行快速初始匹配再在原尺度或稍高尺度上进行细化。5. 内存与计算效率的优化盲区在Python中直接使用OpenCV的立体匹配函数如果不加注意很容易成为性能瓶颈。尤其是在处理高分辨率图像如1280x720以上或大视差范围时。常见的效率问题包括未利用GPU加速、重复计算矫正映射、视差图数据类型转换开销等。优化点1预计算与重用立体矫正的映射表map1,map2计算开销较大但它们是固定的。务必在初始化阶段计算一次并保存后续对视频流的每一帧直接使用cv2.remap。优化点2降低计算分辨率对于自动驾驶等场景远处物体的深度精度要求可以适当降低。将输入图像缩放至原图的1/2或2/3可以大幅减少计算量约为1/4或4/9。计算得到低分辨率视差图后再通过上采样和插值恢复原分辨率。虽然会损失一些细节但对于车道线检测、障碍物测距等任务往往已足够。优化点3利用OpenCV的UMat或GPU模块OpenCV的cv2.UMat可以将数据转移到OpenCL设备如果支持进行计算。部分立体匹配算法有GPU实现如cv2.cuda.createStereoBM等能带来数量级的提升。优化点4选择更快的算法与参数StereoBM通常比StereoSGBM快但精度较低适合对速度要求极高的初步检测。减少numDisparities和blockSize。关闭或减小speckleWindowSize和speckleRange等后处理参数可在后续单独进行。优化代码示例import cv2 import time class EfficientStereoMatcher: def __init__(self, calib_data_path, use_gpuFalse, scale0.5): # 加载标定参数略 # 计算矫正映射仅一次 self.map1_left, self.map2_left, self.map1_right, self.map2_right self._init_rectify_maps() self.use_gpu use_gpu self.scale scale if use_gpu and cv2.cuda.getCudaEnabledDeviceCount() 0: # 初始化CUDA版本的StereoSGBM (需要编译OpenCV contrib with CUDA) try: self.stereo cv2.cuda.createStereoBM(numDisparities64, blockSize21) print(Using CUDA accelerated StereoBM) except: self.stereo None self.use_gpu False print(CUDA stereo not available, falling back to CPU.) if not self.use_gpu: # CPU版本使用较小的参数以提速 self.stereo cv2.StereoSGBM_create( minDisparity0, numDisparities64, # 缩小视差范围 blockSize5, # 减小窗口 P18*5*5, P232*5*5, disp12MaxDiff5, uniquenessRatio5, speckleWindowSize50, speckleRange1, modecv2.STEREO_SGBM_MODE_SGBM_3WAY ) def process_frame(self, frame_left, frame_right): # 1. 矫正 left_rect cv2.remap(frame_left, self.map1_left, self.map2_left, cv2.INTER_LINEAR) right_rect cv2.remap(frame_right, self.map1_right, self.map2_right, cv2.INTER_LINEAR) # 2. 缩放降低分辨率 if self.scale ! 1.0: new_size (int(left_rect.shape[1]*self.scale), int(left_rect.shape[0]*self.scale)) left_small cv2.resize(left_rect, new_size, interpolationcv2.INTER_LINEAR) right_small cv2.resize(right_rect, new_size, interpolationcv2.INTER_LINEAR) else: left_small, right_small left_rect, right_rect # 3. 转换为灰度图如果算法需要 gray_left cv2.cvtColor(left_small, cv2.COLOR_BGR2GRAY) gray_right cv2.cvtColor(right_small, cv2.COLOR_BGR2GRAY) # 4. 计算视差 if self.use_gpu: # 上传数据到GPU gpu_left cv2.cuda_GpuMat(gray_left) gpu_right cv2.cuda_GpuMat(gray_right) gpu_disp self.stereo.compute(gpu_left, gpu_right) disp_small gpu_disp.download() else: disp_small self.stereo.compute(gray_left, gray_right) disp_small disp_small.astype(np.float32) / 16.0 # 5. 上采样视差图回原矫正后图像尺寸 if self.scale ! 1.0: disp_full_res cv2.resize(disp_small, (left_rect.shape[1], left_rect.shape[0]), interpolationcv2.INTER_LINEAR) disp_full_res disp_full_res / self.scale # 视差值与图像尺度成反比 else: disp_full_res disp_small # 6. 简单的后处理可选根据实时性要求取舍 # disp_full_res cv2.medianBlur(disp_full_res.astype(np.float32), 3) # 无效值处理 disp_full_res[disp_full_res 0] 0 return disp_full_res # 使用示例 matcher EfficientStereoMatcher(calib_data.pkl, use_gpuFalse, scale0.67) cap_left cv2.VideoCapture(video_left.avi) cap_right cv2.VideoCapture(video_right.avi) while True: ret_l, frame_l cap_left.read() ret_r, frame_r cap_right.read() if not (ret_l and ret_r): break start time.time() disparity matcher.process_frame(frame_l, frame_r) fps 1.0 / (time.time() - start) print(fFPS: {fps:.2f}) # 可视化等后续处理...6. 监督学习模型部署的工程化陷阱随着监督学习方法在双目匹配中的精度优势日益明显越来越多的工程项目希望集成如PSMNet、GwcNet等深度学习模型。然而直接将研究代码移植到生产环境常会遇到模型体积庞大、推理速度慢、对输入尺寸要求严格、前后处理复杂等问题。陷阱一模型选择与轻量化并非所有SOTA模型都适合实时部署。在KITTI排行榜上精度领先的模型参数量可能高达数千万推理一帧需要数百毫秒甚至数秒。在工程选型时必须在精度和速度之间权衡。例如一些为实时性设计的模型如DeepPruner、AnyNet或经过剪枝、量化的轻量级版本如MobileStereoNet是更务实的选择。陷阱二输入预处理与后处理的疏忽深度学习模型通常要求输入图像经过特定的归一化如除以255减去均值除以标准差且尺寸固定或为特定倍数。如果预处理与训练时不符精度会大幅下降。同样网络输出的视差图可能需要乘以一个系数如max_disp才能得到真实的视差值。陷阱三忽略TensorRT/ONNX Runtime等推理优化在Python中直接使用PyTorch或TensorFlow进行推理效率并非最优。对于部署尤其是嵌入式平台如NVIDIA Jetson必须将模型转换为优化后的格式如TensorRT的engine文件或ONNX格式并利用其层融合、精度校准FP16/INT8等技术加速。实践示例使用ONNX Runtime部署一个轻量级视差网络假设我们已有一个训练好的视差估计模型例如一个简化版网络并已导出为disparity_model.onnx。import onnxruntime as ort import numpy as np import cv2 class ONNXDisparityEstimator: def __init__(self, model_path, max_disp192, input_h256, input_w512): self.session ort.InferenceSession(model_path) self.input_name self.session.get_inputs()[0].name self.output_name self.session.get_outputs()[0].name self.max_disp max_disp self.input_h input_h self.input_w input_w # 假设模型训练时使用的均值与标准差 self.mean np.array([0.485, 0.456, 0.406], dtypenp.float32).reshape(1,1,3) self.std np.array([0.229, 0.224, 0.225], dtypenp.float32).reshape(1,1,3) def preprocess(self, img_left_rect, img_right_rect): 将矫正后的左右图预处理为模型输入 # 1. 缩放至模型输入尺寸 left_resized cv2.resize(img_left_rect, (self.input_w, self.input_h)) right_resized cv2.resize(img_right_rect, (self.input_w, self.input_h)) # 2. 转换为float32并归一化到[0,1] left_f left_resized.astype(np.float32) / 255.0 right_f right_resized.astype(np.float32) / 255.0 # 3. 应用数据归一化 (减去均值除以标准差) left_norm (left_f - self.mean) / self.std right_norm (right_f - self.mean) / self.std # 4. 合并左右图为一个输入张量 [1, 6, H, W] # 模型通常期望通道顺序为CHW且为批量输入 combined np.concatenate([left_norm, right_norm], axis2) # H, W, 6 combined combined.transpose(2, 0, 1) # 6, H, W combined np.expand_dims(combined, axis0) # 1, 6, H, W return combined def infer(self, img_left_rect, img_right_rect): 推理并返回全分辨率视差图 input_tensor self.preprocess(img_left_rect, img_right_rect) # ONNX Runtime推理 outputs self.session.run([self.output_name], {self.input_name: input_tensor}) disp_pred outputs[0] # 形状例如 [1, 1, H, W] 或 [1, H, W] # 后处理调整尺寸转换为视差值 disp_pred np.squeeze(disp_pred) # 移除批次和通道维度 - [H, W] # 模型输出可能是归一化的视差或直接是视差值。假设输出是[0,1]范围的归一化值。 # 需要乘以最大视差并上采样回原图尺寸。 disp_pred disp_pred * self.max_disp h_orig, w_orig img_left_rect.shape[:2] disp_full cv2.resize(disp_pred, (w_orig, h_orig), interpolationcv2.INTER_LINEAR) return disp_full # 使用示例 estimator ONNXDisparityEstimator(disparity_model.onnx, max_disp192) # 假设已有矫正后的左右图 img_left_rect, img_right_rect disparity_map estimator.infer(img_left_rect, img_right_rect)注意上述代码仅为演示流程。实际部署时需要根据具体模型的输入输出格式、归一化方式进行调整。务必使用与训练时完全相同的前后处理流程。对于实时视频流可以考虑将预处理和后处理也进行优化如使用CUDA加速的resize和颜色转换。在项目后期我们往往发现制约系统性能的瓶颈不是某个算法的精度而是这些工程细节的整合。例如在Jetson AGX Xavier上经过TensorRT优化后的轻量模型配合精心设计的图像流水线如使用硬件加速的图像解码和预处理可以将双目深度估计做到30FPS以上真正满足自动驾驶的实时性需求。这要求开发者不仅理解算法原理更要具备扎实的软件工程和系统优化能力。