note任务参考视频 修改文本 → 召回修改后的目标视频。先推理后检索Reason-then-Retrieve框架参考视频 修改要求 → 推断修改后的视觉后果 → 构造目标视频向量 → 向量检索文章目录note一、研究动机二、CoVR-R 方法1. 先推理后检索Reason-then-Retrieve框架2. CoVR-R 推理基准三、实验结果与性能分析1. 核心性能表现2. 消融实验洞察四、定性分析与失败边界五、总结一、研究动机CoVR-R:Reason-Aware Composed Video Retrievalhttps://github.com/mbzuai-oryx/CoVR-RCVPR Findings 2026任务定义组合视频检索CoVR旨在根据用户提供的参考视频和一段文本修改指令在海量视频库中精准检索出符合预期变化的目标视频。传统局限现有的 CoVR 方法大多将修改文本视为字面关键词约束假设文本已经完整指定了所有视觉变化。然而真实世界的编辑指令往往高度简略隐含着大量未言明的“后效应”After-Effects。例如指令“煎炸蔬菜”不仅涉及物体状态的改变还隐含着动作阶段的推进、相机景别的变化、场景环境的切换以及节奏的加快。传统方法因缺乏对因果、时序和电影摄影层面后效应的推理能力极易在复杂场景下失效。二、CoVR-R 方法1. 先推理后检索Reason-then-Retrieve框架总结参考视频 修改要求 → 推断修改后的视觉后果 → 构造目标视频向量 → 向量检索第一阶段先推理。输入参考视频和修改文本让 Qwen3-VL 推断目标视频应出现的五类变化object state物体状态变化action/phase动作及阶段顺序scene场景与背景camera镜头、景别、运镜tempo节奏和速度得到一份结构化 reasoning trace。第二阶段再检索。根据“参考视频 修改文本 推理结果”生成目标视频的完整描述并提取为查询向量。候选库中的每个视频也先由 Qwen3-VL 生成描述再对 token hidden states 做加权池化动作、物体、状态等关键词权重大普通虚词权重低。最后用余弦相似度在预计算的视频向量库中召回目标视频。论文提出了一种零样本、免微调的检索范式核心在于让大模型先“想清楚”编辑的后果再去检索。两阶段查询生成首先利用 Qwen3-VL 对参考视频和编辑指令进行结构化推理显式列出预期的视觉变化涵盖物体状态、动作阶段、场景、相机运镜、节奏五个维度接着基于推理轨迹生成一段完整的“假设目标视频描述”将其作为新的检索查询。重要性加权池化在将文本描述转为向量时摒弃简单的均值池化而是根据语义丰富度分配权重动作动词、物体名词权重最高场景属性次之功能词最低确保核心语义不被稀释。离线预编码与相似度匹配视频库中的所有候选视频预先通过上述方式生成语义嵌入并缓存。检索时直接计算查询嵌入与候选视频嵌入的余弦相似度并进行排序。2. CoVR-R 推理基准为了公平评估模型的深层推理能力论文构建了 CoVR-R 基准包含 2800 个高质量三元组。过滤与构造数据源自 Dense-WebVid-CoVR 和 SSv2筛选标准严苛要求样本必须满足时序依赖、状态转换、电影摄影变化、隐性因果关系及低词汇重叠度中的至少两项。推理轨迹标注每个样本均配有由专家人工审核的结构化推理记录包含原子化的断言如“物体状态从生变熟”并强制要求使用受控谓词和可验证的时间跨度。困难负样本刻意引入了在关键词上与编辑指令高度重合但在逻辑后效上完全违背指令的干扰视频迫使模型必须理解因果意图而非死记硬背关键词。三、实验结果与性能分析1. 核心性能表现实验在 CoVR-R 和 Dense-WebVid-CoVR 两个基准上进行主要指标为 RecallKRK和推理质量评分满分10分。CoVR-R 基准基础版方法无显式推理R1 达 44.32%加入显式推理R后R1 跃升至 49.88%推理得分高达 8.31较此前最佳基线BSE-CoVR 的 37.90%实现了约 32% 的相对提升。Dense-WebVid-CoVR 基准零样本方法 R1 达到 58.19%推理增强版更是高达 61.21%大幅超越此前的最佳基线48.08%证明了该方法在标准大规模评测中的泛化能力。2. 消融实验洞察骨干网络规模性能随 LMM 参数量提升而稳定增强Qwen3-VL-4B/8B/72B 的 R1 分别为 43.98%、49.88%、55.48%证明更强的底层推理能力直接转化为更好的检索效果。池化策略重要性加权池化R1 49.88%显著优于均值池化44.87%、最大池化35.95%和末位 token 池化1.51%凸显了语义聚焦的必要性。推理粒度存在“金发姑娘原则”。过短的推理缺失关键信息而过长的详细推理186 tokens会因引入噪声稀释判别信号反不如标准长度89 tokens有效。四、定性分析与失败边界成功机制面对复杂指令如“将切菜变为在炉灶前翻炒辣椒”模型能通过结构化推理准确捕捉从“切菜”到“翻炒”的动作阶段递进、物体容器变化、场景迁移及特写镜头要求从而生成精准的查询向量有效剔除仅含单一关键词的干扰项。失败边界当遭遇极度细颗粒度、包含大量离散元素的“超长清单式”修改指令时如要求同时替换十几个具体道具和建筑纹理LMM 容易在中间推理环节遗漏关键细节。这种信息损失会逐级传导导致最终生成的查询向量偏离真实目标陷入“抓大放小”的语义漂移困境。五、总结CoVR-R 的核心贡献在于将 CoVR 任务从传统的“三元组匹配”升维至“后果建模”。它证明了通用多模态大模型LMM的零样本推理能力足以驱动复杂的视频检索显著降低了对任务特定监督和海量标注数据的依赖。该研究为可解释性视频搜索指明了方向未来的重点将是开发自适应路由机制让系统能智能判断何时只需轻量级的关键词匹配何时必须启动深度的因果推理。