107、EDVR 视频超分：可变形卷积与时空注意力机制详解上周调一个视频超分项目，跑EDVR时发现显存直接爆了——明明输入只有5帧，batch size设到2就OOM。debug了半天，发现是时空注意力模块里的计算图没释放干净。这种坑踩多了，慢慢就摸透了EDVR的设计哲学。今天把这块掰开揉碎讲清楚。从视频超分的痛点说起单帧超分你做得再好，放到视频里就露馅了。相邻帧之间的抖动、遮挡、运动模糊，这些单帧模型根本处理不了。早期做法简单粗暴：把多帧叠在一起当多通道输入，或者用光流对齐后再融合。但光流本身就有误差，尤其遇到大运动或遮挡区域，反而引入伪影。EDVR的聪明之处在于：用可变形卷积代替光流做对齐，用时空注意力做融合。这两个设计不是拍脑袋想出来的，是踩了无数坑后的最优解。可变形卷积：让卷积核学会“变形”普通卷积的采样点是固定的3x3网格，遇到运动物体就抓瞎。可变形卷积给每个采样点加了偏移量，让卷积核能“追着”物体跑。EDVR里用的是金字塔级联可变形卷积，简称PCD。别被名字吓到，核心就三步：特征金字塔：对参考帧和相邻帧分别下采样，得到不同尺度的特征图。这样做的好处是，大尺度特征能捕捉大运动，小尺度特征保留细节。级联对齐：从最粗糙的尺度开始，用可变形卷积对齐相邻帧到参考帧，然后把对齐结果上采样，作为下一尺度的初始