智源TALK｜多模态效率提升至19倍，视频理解前沿进展，伯克利MIT英伟达

报告主题伯克利MIT英伟达通过自回归眼动实现高效可扩展的视频理解报告日期05月12日周二 10:30-11:30报告要点多模态大语言模型在视频理解上进展显著但处理长时长高分辨率视频时仍面临效率瓶颈现有模型对所有像素一视同仁忽略海量时空冗余。智源Talk359期邀请了 Physical Intelligence 史百丰线上分享《Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing》。提出AutoGaze轻量级模块采用自回归眼动方式主动移除冗余视觉 patch可将 token 数减少 4 至 100 倍、推理速度最高提升 19 倍使模型首次支持 1000 帧 4K 视频理解并推出首个高分辨率长视频问答基准 HLVid。欢迎讨论交流。论文地址https://arxiv.org/abs/2603.12254v1议题详情多模态大语言模型MLLMs在通用视频理解方面取得了显著进展但在处理长时长、高分辨率视频时仍面临效率瓶颈现有视觉TransformerViT和MLLM通常对所有像素一视同仁地进行计算忽略了视频中大量存在的时空冗余信息。为此我们提出 AutoGaze一个轻量级模块可在输入送入ViT或MLLM之前主动移除冗余视觉patch。AutoGaze 通过下一词预测与强化学习进行训练采用自回归眼动autoregressive gazing方式在用户指定的重建误差阈值下动态选择最少量的多尺度patch以尽可能完整地重建视频内容在保留关键信息的同时大幅减少冗余计算实验结果表明AutoGaze 可将视觉token数量减少 4倍至100倍并使ViT与MLLM推理速度提升最高 19倍从而支持模型处理 1000帧、4K分辨率 的超长视频并在多个视频基准测试中取得领先表现例如在 VideoMME 上达到 67.0%。此外我们还提出了首个高分辨率长视频问答基准 HLVid包含时长5分钟、4K分辨率的视频结合 AutoGaze 扩展后的MLLM相较基线提升 10.1%并超过此前最佳模型 4.5%。报告嘉宾史百丰博士在 Physical Intelligence 担任 Member of Technical Staff主要从事基础计算机视觉与机器人模型的研究。他于 2026 年在加州大学伯克利分校获得博士学位师从 Trevor Darrell 教授。在计算机视觉、机器学习与机器人学习领域的 CVPR、ICCV、ECCV、ICLR、ICML、NeurIPS、CoRL 等顶级会议上发表论文近 20 篇并多次被评为口头报告/亮点论文。电脑端观看地址第八届智源大会 相约6月12日-13日