Agentic 范式下的视频画质优化:火山引擎的新路径
用户刷视频时对画质的判断往往发生在几秒之内。同样是短视频、直播、AIGC视频有的画面清晰、稳定、有质感人物的眉眼、物品的纹理、运动中的细节都足够自然有的则模糊、压缩痕迹重动作一快就闪烁、发虚让人只想很快划走。过去平台解决这些问题的方式相对明确在生产端做基础美化和编辑在服务端用超分、去噪、锐化、去压缩等算法把模糊、发虚的部分逐段修回来在客户端则通过播放控制和端侧后处理增强把视频清晰、流畅地呈现在观众眼前。但现在视频不再只是由摄像机拍出来也可能由 AI 直接生成。这意味着画质问题也不再只是拍摄损伤、分辨率低、噪声多、压缩重而是增加了纹理不真实、人物结构异常、动作不连贯、风格不稳定等更复杂的情况。这让人们对画质优化的要求不再仅限于“让视频更清晰、流畅”还要让不同来源、不同质量、不同场景中的视频都能达到可消费、可分发、可商业化的标准甚至能做到对原本画质的超越。面对新的视频生产方式、更复杂的任务和更高的期待视频画质优化本身也在从一条由人驱动的后处理流水线变成一个能够理解、判断、执行和反馈的 Agent 系统。画质优化在变成一种创作过程过去拍摄的视频会有一个“标准”参照物。画质优化工作就是参照这个标准把因为拍摄、压缩、传输而变坏的视频去掉噪声、减少压缩伪影、提高分辨率让画面回到更接近被拍摄时的状态。但现在情况在发生变化。首先不同视频场景的画质问题并不相同UGC视频常见的是模糊、抖动、噪声和压缩损伤赛事直播更在意高帧率、低延迟和运动清晰电商直播要求实时美颜但又不能改变商品颜色老片修复可能需要去噪、上色、超分一体化AIGC视频则需要去闪烁、修结构同时保留原有风格。其次过去往往是一个问题对应一个模型一类退化对应一条规则。问题数量有限时这种线性堆叠是有效的。但当业务需求变成多场景、多目标、多约束的组合复杂度会迅速上升。清晰度、码率、算力、延迟、保真度、风格一致性……这些目标经常同时出现且相互制约。最后画质增强不再只是去掉坏的还要补回对的甚至做出美的。过去用户对画质增强的要求可以概括为“别糊、别卡、别有马赛克”。现在很多场景里的目标已经变成“比原片还好看”“更有质感”“更电影化”。评判标准和能力边界也在随之产生变化。评判标准正在从客观指标更多变成主观审美。传统画质增强可以用 PSNR 等指标衡量增强后指标提升多少往往可以被视为明确进步。但“更有电影感”“肤质好但不假”“画面更通透”很难完全用单一指标衡量。画质优化开始要回答更开放的审美问题。这也推动了能力边界由“画质还原”走向“内容再生成”从像素修复延伸到审美和语义尝试去“脑补”那些丢失的细节。这样的画质优化已经不只是技术修补而是接近一种受约束的创作过程。最终在“理解什么是好”和“生成出更好”的过程中新一代画质优化必须要同时平衡好看与真实、成本与期待。它既要让用户感知到提升又不能让生成式增强变成失真内容既要用更强模型提升效果又不能让算力成本高到无法大规模使用。用 Agent 的范式重构任务链条从修补到创作的变化意味着画质优化变成了一种很复杂的非标任务。火山引擎推出的 Agentic 画质增强系统正是为处理这种非标任务而来。它用 Agent 能力配合生成式算子工具集按照“理解、感知、调度、执行、反馈”的闭环重构了整个画质优化链条。这也是处理复杂视频任务的一种未来趋势从静态管线转向由 Agent 判断任务、调用工具、反思结果的自主系统。其中Agent 像一个真人专家负责完成理解和评估。一方面Agent 要利用多模态理解大模型的能力理解任务目标准确判断出用户是更重视保真还是更重视质感是需要低延迟还是可以接受更重的生成式处理。然后把“帮我把视频变清楚一点”这样的模糊需求拆解成一组符合业务需求和算力约束的执行步骤。另一方面Agent 还要能看出问题评估修复效果。传统CNN模型更多是给画质打一个分但在今天的画质优化任务中这样打分远远不够。Agent 还需要知道画面为什么不好增强之后哪里变好了哪里又可能变假了接下来应该如何调整。火山引擎为此训练了 Q-Insight 和 VQ-Insight 两类感知评估大模型。前者的方向是让图像质量评估从单纯数值打分走向内容分析、退化感知和比较推理后者则把这种思路扩展到 AI 生成视频的质量理解强调时间建模、多维打分和偏好比较。当画质优化目标从“画质还原”走向“画质超越”评估也不再是简单的数值问题而是一个包含内容、场景、风格和用户偏好的综合判断。Agent 给出理解判断和执行方案后算子工具集会负责动手干活不再需要人去手工调度。火山引擎的增强算子工具集包含去噪、超分、锐化、去压缩等多种能力。过去这些工具往往需要人工根据经验组合现在Agent 可以根据视频内容、画质问题、业务需求和算力约束自动组合任务处理链路并根据反馈进行重新调度。其中GenVR 是支持画质优化实现审美创造的关键算子。它包括三项核心能力基于 Diffusion 扩散大模型可以在合理范围内补出原始画面中已经丢失的细节原生支持图片视频双模态利用跨帧一致性算法保证动态画面的稳定与细节连贯全面覆盖各级视觉处理需求能做基础去噪也能实现风格重构。火山引擎多媒体实验室高级算法研究员庞映雪认为GenVR 能够充分定义什么是下一代增强。过去低质量输入往往限制了输出上限画面里没有的信息算法也很难凭空恢复。GenVR 依靠大规模预训练带来的视觉先验可以在开放域复杂退化场景中生成更丰富的纹理和细节并支持同分辨率增强和任意倍率超分。从应用范围看GenVR 希望用一套统一能力覆盖UGC、PGC、AIGC等内容场景减少针对每个垂直场景单独建模的成本。对于视频云来说成本控制很重要真正商业化的画质优化不能只在少数样例上表现好而要能进入复杂、多变、大规模的业务现场。为此GenVR 做了大量的推理优化工作包括模型蒸馏、剪枝、量化等来降低部署成本。目前GenVR 已上线 AI MediaKit 工具集支持 API 调用也接入了 AI SaaS 平台可以为终端用户提供一键视频增强能力。让画质优化变成动态的决策和服务重构的任务链条让画质优化从“固定流水线”变成“动态决策和服务系统”。这个趋势背后短视频、直播、短剧、AIGC视频在不断扩展出新的视频需求平台和创作者需要“更快、更便宜、更稳定地产出高质量视频”。新的 Agentic 画质增强系统恰好是保证这个目标实现的核心功能之一。它把画质优化从孤立工具变成视频生产和分发体系中的基础能力。对平台来说Agentic 画质增强系统能提高内容消费体验降低低质视频对分发效率的影响。一个视频如果因为压缩、噪声、闪烁影响观看用户可能会很快划走平台也很难继续分发。一项稳定、高效的画质优化能力可以让平台摆脱创作者设备和拍摄条件的束缚提升内容质量下限。对创作者和商家来说它降低了高质量视频的生产门槛。普通拍摄素材、直播切片、商品视频、AIGC视频都可以使用 Agentic 画质增强系统更接近商业使用标准。特别是在电商、短剧、广告素材等场景里画质不是单纯的审美问题而是会影响用户停留时长、商品呈现和转化的效率。但这一技术没有完全成熟还有三个难点亟待解决一是算力成本与商业 ROI 的全局博弈。生成式增强效果更强但成本也更高。Agent 必须成为“算力精算师”帮助用户判断哪些视频值得使用重模型哪些视频只需要轻量处理如何把有限算力投放到用户最能感知提升的地方。二是审美评估能否足够稳定、精准。画质增强进入主观审美后系统不仅要判断是否更清楚还要判断是否更自然、更真实、更符合场景。它不能把“更锐”简单等同于“更好”也不能把“更亮”直接等同于“更通透”。三是生成式增强能否守住真实边界不把修复变成误改。商品视频需要色彩保真人像视频不能改变身份特征。下一代画质增强的难点不只是生成出更多细节而是生成得准确、克制、有边界。就像庞映雪所说未来还要让 Agent 变得更加智能生成的效果变得更快、更好、更加贴合人心。