【Video Agent】CVPR 2026VideoITGMultimodal Video Understanding with Instructed Temporal Grounding论文简介 一、论文阅读1.1 引言Introduction1.2 VideoITG-40K数据集构建VideoITG-40K: dataset construction1.2.1 VidThinker自动化标注流程VidThinker: automated annotation pipeline1.2.2 细粒度定位指令Fine-grained grounding instruction1.2.3 数据集统计Dataset statistics1.3 VideoITG模型设计VideoITG: model design1.4 实验Experiments1.4.1 实施细节Implementation Details1.4.2 对比实验Comparison with State-of-the-arts1.4.3 消融实验Ablation Study1.5 结论Conclusion二、结合代码理解论文方法写在最后写在前面如果想了解更多关于长视频理解和视频智能体新工作可以关注笔者的Github仓库Awesome-Video-Agent。论文简介 题目VideoITGMultimodal Video Understanding with Instructed Temporal Grounding 来源CVPR 2026 单位1、The Hong Kong Polytechnic University2、Nanjing University3、NVIDIA4、Harvard University 主页https://nvlabs.github.io/VideoITG 代码已开源✒️ 摘要尽管视频大语言模型Video-LLMs在多模态理解与推理任务中展现出了显著潜力但如何从视频中高效选择最具信息量的帧仍然是一个关键挑战。现有方法试图通过减少帧间冗余或采用无监督事件定位来优化帧采样。然而这些方法在处理复杂的指令跟随任务以及需要精确时间建模的场景时往往表现不足导致其在语义对齐和时间推理两方面的性能都受到限制。为了解决上述挑战论文提出了面向视频的指令式时间定位VideoITG这是一个旨在根据用户指令自适应定制帧采样策略的框架。具体而言论文设计了VidThinker流程该流程通过生成指令条件化描述、检索相关视频片段以及选择关键帧来实现自动标注从而提供高效监督。利用VidThinker论文构建了VideoITG-40K数据集其中包含4万段视频和50万个时间定位标注。论文的即插即用VideoITG模型利用视频大语言模型的视觉-语言对齐能力与推理能力进行判别式帧选择。VideoITG在多个多模态视频理解基准上持续提升性能展示了其有效性与潜力。一、论文阅读1.1 引言Introduction现有方法的不足均匀采样简单但次优容易遗漏对语义推理和时间推理关键的帧。仅做冗余压缩的方法虽然能减少帧数但对复杂指令跟随和精确时间建模支持不足。扩展序列长度的方法计算开销高而且存在信息被稀释的风险。基于问题选帧的方法虽优于均匀采样但缺少跨帧时间建模难以处理多事件或时间敏感问题。现有时间定位方法多依赖单一描述性查询或单时间点检索泛化性和真实场景鲁棒性有限。论文的核心思想贡献提出VideoITG把用户指令直接纳入帧选择过程实现面向任务的指令驱动时间定位。提出VidThinker自动标注流程包含指令式片段描述、片段检索和帧定位三个阶段。构建VideoITG-40K数据集包含4万段视频和50万个细粒度、指令对齐标注规模和指令质量均显著超过已有数据集。视频大语言模型Video-LLMs的快速发展为视频理解开辟了新的前沿使其能够处理诸如视频描述、视觉问答甚至具身智能体交互等复杂任务。然而这类模型在处理长视频时仍然面临困难因为高内存成本和计算开销限制了它们对扩展时间上下文的处理能力。一种常见的变通方法是均匀帧采样——这种方法虽然简单但并不理想——它常常会遗漏对语义推理和时间推理至关重要的关键帧从而限制整体性能。为缓解这一挑战已有研究从多个方向进行了探索。其中一类方法聚焦于通过池化、相似性剪枝或基于聚类的压缩来减少时空冗余只保留关键帧。另一类方法通过扩展模型序列长度来捕获长期依赖但这类策略会带来较高的计算开销并存在信息被稀释的风险。还有一些方法将以问题为中心的线索纳入帧选择过程并表明其优于均匀采样。例如SeViLA将BLIP-2应用于对每一帧进行独立处理然后选择关键帧并输入视频推理流程。然而由于缺乏跨帧的时间建模这类方法难以对多事件或时间敏感型查询进行有效推理。尽管在压缩或扩展时间上下文方面已经取得进展短视频与长视频之间仍然存在显著的性能差距其主要原因在于缺乏大规模、由指令引导的时间定位数据。当人类分析长视频时通常不会一次处理所有帧相反人们会先快速浏览以获得全局上下文识别与问题相关的线索再聚焦到具有判别性的时刻。受这种人类策略启发论文提出了面向视频的指令式时间定位VideoITG将用户指令直接整合到帧选择过程中。与传统时间定位任务主要利用单一描述性查询来定位事件不同VideoITG引入了由指令驱动的时间推理能够针对每项任务自适应地定制采样策略。不同于以往的帧选择框架论文的方法能够处理多时间点和多线索场景具体体现在1跨视频片段定位时间线索以进行关系推理2采用混合采样来应对动态事件变化3保持整体覆盖以支持内容验证和描述生成。为了支撑VideoITG论文通过一个名为VidThinker的自动化标注流程构建了一个大规模数据集。如图2所示VidThinker通过指令条件化片段描述生成、指令引导的相关片段检索以及细粒度帧级定位来实现自动化数据生成。在GPT-4o推理的驱动下VidThinker模拟了一种“大海捞针”式的过程来检索相关时刻并针对四种指令类型提供均衡监督语义型仅关注外观运动型强调动态线索语义与运动联合型用于联合推理以及无线索型即开放式的视频级提示需要在整段视频中最大化视觉多样性。由此得到的VideoITG-40K数据集包含4万段视频时长为30秒至3分钟和50万个由指令引导的时间定位标注在规模和指令质量上都比现有时间定位数据集高出4倍以上。在此基础上论文设计了一系列VideoITG模型包括文本生成式、基于锚点的因果注意力式以及全注意力池化式以有效地将时间线索与用户指令对齐。总而言之论文的主要贡献如下VideoITG-40K dataset.论文通过自动化的VidThinker流程构建了VideoITG-40K数据集其中包含4万段视频和50万个细粒度、与指令对齐的标注显著扩展了现有时间定位资源的规模与多样性。VideoITG models.论文提出了三种互补的模型变体探索了不同的注意力机制与解码机制提供了一个统一的、即插即用的框架可适配不同的视频大语言模型。Consistent improvement.论文还表明在不同基准和不同模型上VideoITG能够以更少的帧数提升准确率在VideoMME上采用VideoITG选择的16帧可以匹配64帧均匀采样的效果并且与使用32帧的当前最优方法相当。1.2 VideoITG-40K数据集构建VideoITG-40K: dataset construction1.2.1 VidThinker自动化标注流程VidThinker: automated annotation pipeline当人类在长视频中搜索信息时通常会分三步进行i从指令中提取关键信号ii检索一个粗粒度的时间窗口iii对目标事件进行细粒度定位。因此论文提出了VidThinker这是一个完全自动化且具有可解释性的流程用于模拟这种面向指令引导时间定位的三步推理过程。它由三个相互依赖的阶段组成——指令式片段描述、指令式片段检索和指令式帧定位——在不断缩小搜索空间的同时加强与指令的对齐。i指令式片段描述Instructed Clip Captioning视频v vv被均匀划分为短片段每段5秒记为{ v i } i 0 n \{v_i\}_{i0}^{n}{vi​}i0n​。对于每个片段论文使用大语言模型提取能够捕捉完成该指令所需核心信息的显著短语。举例来说给定问题q qq“敲鼓的男人在敲鼓时脚在做什么”以及答案a aa“移动他的脚”系统会提炼出关键动作短语k kk“敲鼓的男人一边移动双脚一边用手击鼓。”随后论文将提取出的短语与原始视频片段一起输入视觉语言模型以循环方式生成片段级描述{ c i } i 0 n \{c_i\}_{i0}^{n}{ci​}i0n​。提取出的短语作为参考线索引导模型将注意力集中在每个片段中的显著元素上。然而视觉语言模型严格遵循视觉证据只有当提取短语中的信息在当前片段中能够被明确观察到时才会利用这些信息。这确保了系统不会仅仅基于提取短语产生幻觉或推断内容从而使描述始终扎根于视觉内容。该过程可表述为k L L M ( q , a ) , c i V L M ( k , v i ) . ( 1 ) k LLM(q, a),\ c_i VLM(k, v_i).\quad(1)kLLM(q,a),ci​VLM(k,vi​).(1)以这些由指令和答案导出的线索为条件论文确保每个片段的标注都具有相关性和信息量从而促进精确的指令式时间定位。ii指令式片段检索Instructed Clip Retrieval生成的片段描述{ c i } i 0 n \{c_i\}_{i0}^{n}{ci​}i0n​按顺序组织并由大语言模型根据问答对来评估其相关性。论文并非简单地分配二元相关性分数而是让大语言模型执行思维链推理显式同时考虑关键词匹配与时间关系并直接输出相关片段的索引I r e l − c l i p L L M ( { c i } i 0 n , q , a ) . ( 2 ) \mathcal{I}_{rel-clip} LLM(\{c_i\}_{i0}^{n}, q, a). \quad(2)Irel−clip​LLM({ci​}i0n​,q,a).(2)这种思维链提示要求模型基于语义线索和时间线索来为其选择提供理由而不是仅依赖浅层关键词匹配。这种自动化方式显著提升了相关片段选择的效率与可解释性。iii指令式帧定位Instructed Frame Localization在对视频片段进行粗粒度定位之后VidThinker 会根据指令类型进一步通过选择关键帧来细化标注。对于候选片段中的每一帧论文提示大语言模型执行一个二分类任务给定问答对和单帧图像大语言模型判断该帧与指令是否相关输出“是”或“否”。形式化地说对于候选片段中的每一帧f i f_ifi​大语言模型被提示如下y i L L M ( f i , q , a ) , where y i ∈ { y e s , n o } , ( 3 ) y_i LLM(f_i, q, a),\ \text{where}\ y_i \in \{yes,\ no\}, \quad(3)yi​LLM(fi​,q,a),whereyi​∈{yes,no},(3)其中y i y_iyi​表示帧f i f_ifi​是否与该问答对相关。只有得到肯定响应的帧即y i y e s y_i yesyi​yes才会被保留为最终的时间定位结果。这种由指令引导的过滤机制使VidThinker能够以较高精度识别出对指令最具信息量的帧。1.2.2 细粒度定位指令Fine-grained grounding instruction论文针对每种指令类型采用了细粒度帧选择策略以确保视觉证据与各个问答任务的推理需求相匹配。由于不同指令对视觉理解的要求不同论文根据指令是否需要静态语义、动态运动、两者兼具或完全不需要显式线索视频级对指令进行分类。针对每一类论文采用匹配的帧选择策略使视觉证据与问答推理需求对齐。仅语义Semantic only这类指令查询静态外观线索例如人物、物体、场景。例如“那个男人在上车之前做了什么”VidThinker会选择能够显示该男子穿着以及吉他的帧。在相关片段定位之后论文选择能够捕捉代表性语义线索的多样化帧以确保覆盖全面。具体而言论文为每一帧提取CLIP特征并计算相邻帧之间的余弦相似度当某一帧与上一个被选中关键帧的相似度低于场景变化阈值时该帧将被保留。更进一步的算法细节在附录中给出。仅运动Motion only这类指令聚焦于动态模式例如类型、速度、方向。论文在定位出的片段内部采用固定速率采样以捕捉运动演化过程。例如“这个人是如何从跳板上跳下去的”VidThinker会选择涵盖起跳、腾空和入水过程的帧。语义与运动Semantic Motion这类指令同时需要静态语义和动态变化。论文在与运动相关的区域采用固定速率采样同时保留语义信息丰富的帧在两种需求之间取得平衡。例如“你能描述一下视频中的镜头运动吗”VidThinker会选择同时呈现手部击鼓和脚部动作的帧。无线索Non Clues这类指令属于没有明确语义或运动锚点的整段视频级指令。论文在整段视频中采样一组紧凑但多样化的帧例如开头、中间和结尾以在尽量减少冗余的同时保证整体覆盖。例如“请详细描述这个视频。”1.2.3 数据集统计Dataset statistics基于所提出的VidThinker流程论文从LLaVA-Video构建了VideoITG-40K用于时间定位共包含4万段视频和50万个由指令驱动的标注。全部标注均由VidThinker自动完成从而保证了效率、一致性以及与多种指令类型的对齐。视频平均时长为120秒覆盖三个时长区间30到60秒、1到2分钟、2到3分钟。每段视频含有10到15组问答对包括多项选择题和开放式问答。根据表1的总结VideoITG-40K的规模几乎是DiDeMo10.6K和QVHighlights10.2K的4倍并且远超QuerYD2.6K和HiREST3.4K。与先前基于描述性查询的数据集不同VideoITG-40K是显式由指令引导的因此能够实现精确的、由查询条件驱动的时间定位。1.3 VideoITG模型设计VideoITG: model design在本节中论文探讨了如何利用VideoITG-40K数据集为指令式时间定位任务训练模型目标是优化视频帧选择并提升视频大语言模型的性能。如图4所示该框架由三个模块组成1视觉编码器例如ViT将视频帧映射为与文本对齐的视觉特征F FF2执行指令引导帧选择的VideoITG模块I r e l \mathcal{I}_{rel}Irel​以及3以所选帧F I r e l F_{\mathcal{I}_{rel}}FIrel​​和问题q qq为条件生成答案a aa的VideoLLM。该过程可描述如下F V I T ( v ) ( 4 ) I r e l V i d e o I T G ( F , q ) ( 5 ) a V i d e o L L M ( F I r e l , q ) ( 6 ) F VIT(v) \quad(4) \\ \mathcal{I}_{rel} VideoITG(F, q) \quad(5) \\ a VideoLLM(F_{\mathcal{I}_{rel}}, q) \quad(6)FVIT(v)(4)Irel​VideoITG(F,q)(5)aVideoLLM(FIrel​​,q)(6)VideoITG模块遵循即插即用的设计理念由两个核心目标驱动1增强视觉token与语言token之间的对齐以提升指令跟随能力2强化上下文编码以捕获多粒度的时间线索。基于上述考虑论文开发了三种模型变体基于文本生成的分类、基于锚点的分类以及基于池化的分类如图4(b)所示。变体A基于文本生成的分类Variant A: Text-generation-based classification。如图4(b)左图所示该变体将指令式时间定位任务重构为一个下一token预测问题其中模型在视频特征和指令特征的条件下按序输出文本token。这种形式自然与现有视频大语言模型的核心训练范式保持一致从而保留了其强大的视觉-语言对齐能力和指令跟随能力。类似的生成式框架也已被先前的时间敏感模型采用例如TimeChat和Grounded-VideoLLM。变体B基于锚点的分类Variant B: Anchor-based classification。为了突破逐token生成的方式该变体采用一种判别式范式直接在帧级别对视觉token进行分类如图4(b)中图所示。论文从一个预训练的视频大语言模型初始化该模型同时保留其因果注意力掩码以维持时间一致性。然而因果掩码会阻止视觉token预先访问指令并限制前面帧利用后续时间线索。为缓解这一限制论文在指令之后插入一个锚点token作为每一帧的时间中介。形式上对于时间戳t tt处的视频帧锚点tokenA t A^tAt通过对所有空间位置做全局平均得到A t 1 M ∑ i , j F i j t , t ∈ [ 1 , T ] , ( 7 ) A^t \frac{1}{M}\sum_{i,j} F_{ij}^{t},\ t \in [1, T], \quad(7)AtM1​i,j∑​Fijt​,t∈[1,T],(7)其中F i j t F_{ij}^{t}Fijt​表示第t tt帧在网格( i , j ) (i, j)(i,j)处的视觉特征M MM是每帧的patch总数。集合{ A t } t 1 T \{A^t\}_{t1}^{T}{At}t1T​在因果注意力下建立了跨帧的时间依赖关系。变体C基于池化的分类Variant C: Pooling-based classification。由于因果注意力掩码限制了帧间通信论文进一步移除了这一约束以实现视觉token与文本token之间的双向全注意力如图4(b)右图所示。对于每一帧论文通过平均池化聚合其视觉token随后接入一个分类头来判断其与指令的相关性而不再引入显式的锚点token。这种全注意力设计丰富了跨帧的时间上下文建模并促进了指令与视觉证据之间更强的交互。1.4 实验Experiments1.4.1 实施细节Implementation DetailsImplementation Details. 论文遵循LLaVA-Video的训练方法使用预训练模型作为VideoITG模型预训练阶段的初始化。论文采用SigLIP作为视觉编码器采用Qwen2作为语言模型。首先论文在图像描述数据集上训练MLP投影器批大小为256学习率为1 × 10 − 3 1 \times 10^{-3}1×10−3。随后论文在LLaVA-OV-SI和LLaVA-Video数据集上对全部模型参数进行微调。在这一阶段视频帧采样率设为64LLM的最大序列长度设为16K。之后论文在所提出的VideoITG-40K数据集上训练VideoITG模型并将视频采样率调整为1 fps。在训练和推理过程中论文采用动态token空间尺寸策略。在所有阶段LLM的学习率均为2 × 10 − 5 2 \times 10^{-5}2×10−5而在最后阶段分类头的学习率为2 × 10 − 4 2 \times 10^{-4}2×10−4。为了与其他领先的视频LMM进行公平比较论文主要使用它们原始论文中的结果当结果不可用时论文将这些模型集成到LMMs-Eval[67]中并在一致设置下进行评估。由于上下文长度限制VideoITG模型最多支持512帧视频输入每帧16个视觉token并默认根据得分选择前32帧。1.4.2 对比实验Comparison with State-of-the-arts1.4.3 消融实验Ablation Study1.5 结论Conclusion论文提出了VideoITG这是一种用于视频大语言模型中与指令对齐的帧选择新框架。该方法的关键在于VidThinker流程它通过生成细致的、由指令引导的片段描述、检索相关片段并执行细粒度帧选择来模拟人工标注。利用这一流程论文构建了VideoITG-40K数据集其中包含4万段视频和50万个时间定位标注。基于这一资源论文开发了即插即用的VideoITG模型利用视觉-语言对齐与推理能力来处理多样化的时间定位任务。实验表明VideoITG在多个视频理解基准上持续提升了视频大语言模型的性能凸显了其在推动指令驱动视频理解方面的有效性与潜力。二、结合代码理解论文方法待补充。写在最后由于笔者️精力有限且本文更多的目的是通过博客记录学习过程并分享更多知识因此文中部分描述不太具体如有不太理解的地方可在评论区留言。非特殊赶deadline⏰或假期⛱️期间笔者会经常上线回复。如有不便之处请海涵如果想了解更多关于长视频理解和视频智能体新工作可以关注笔者的Github仓库Awesome-Video-Agent。另外创造不易转载请注明出处