多模态大模型历经5年范式跃迁从ViT革新视觉AI到CLIP架起图文桥梁再到Qwen-VL等多模态理解乃至GPT-4o与Qwen-Omni的全模态统一。Qwen系模型作为核心基础设施推动技术从单模态处理走向多模态深度融合未来将向理解生成协同、视频一体化、世界模型等方向演进迈向通用人工智能。引言从看图识字到能看、能听、能说、能画多模态大模型经历了怎样的范式跃迁2020年ViT用一句一张图值16x16个词震撼了视觉AI界。几年后GPT-4o可以同时看图、听音、说话、画画Qwen3-Omni在36项音视频基准测试中拿下22项SOTABAGEL和Ming-Omni等开源模型也在冲击全模态统一的边界。这条从单模态到全模态的演进之路并非一条直线而是多条技术路线并行探索、碰撞融合的过程。本文将为你系统梳理近几年多模态大模型的关键里程碑讲清楚每一步为什么和怎么做。ViT让 Transformer 学会看2020在ViT之前计算机视觉是CNN卷积神经网络的天下ResNet、EfficientNet统治着各大榜单。与此同时NLP领域的Transformer凭借自注意力机制已经一统江湖。一个自然的问题浮出水面Transformer能不能也用来处理图像Google团队给出的答案简洁而优雅把图像切成16×16的小块patch每个小块就相当于NLP中的一个词。这些patch通过线性嵌入层映射为向量序列直接送入标准Transformer编码器——这就是Vision TransformerViT。ViT架构将图像切割为Patch作为Token输入TransformerVisual Patch as Token将一张图像切割成同样大小 (16x16后续的internvl是14x14 ) 的小块每个小块patch被展平通过一个线性层 (patch embedding) 转换为一个向量作为一个token传递给 Transformer 作为输入。这一步的意义远超视觉任务本身它统一了视觉和语言模型的底层架构为后续两个世界的融合埋下了最重要的伏笔。但此时的ViT还是纯粹的单模态——它只能处理图像完全不知道语言为何物。CLIP在图像和语言之间架起桥梁2021ViT让Transformer能处理图像但图像和语言之间仍然隔着一堵墙。2021年OpenAI的CLIP推倒了这堵墙。CLIP的思路极其直觉同时训练一个图像编码器ViT和一个文本编码器在4亿图文数据对上做对比学习让语义相似的图文对在嵌入空间中靠近不相似的远离。CLIP通过对比学习实现图文对齐这相当于为图像和语言建立了一本跨语言词典——从此机器可以用同一套坐标系来表示一张猫的照片和一只毛茸茸的橘猫这句话。CLIP开启了Vision Foundation Model时代。它训练出的视觉编码器CLIP ViT成为了后续几乎所有多模态大模型的标配眼睛。但CLIP本身能力有限——它擅长检索和分类这些判别式任务却无法像ChatGPT一样生成流畅的文本回答。下一个问题自然而然地出现了如何让LLM也拥有视觉能力LLaVA 到 Qwen-VL给大语言模型装上眼睛2023-20242023年大语言模型LLM的浪潮席卷全球。LLaVA给出了一个极其简洁的多模态方案预训练好的CLIP ViT看图 一个MLP投影层翻译 预训练好的LLM说话LLaVA架构CLIP ViT MLP Connector LLM整个流程一目了然CLIP ViT把图像编码为特征向量MLP将这些向量翻译到LLM能理解的空间LLM基于图像特征和用户问题生成文本回答。LLaVA引爆了多模态大模型的研究热潮但真正将这个范式推向工业级落地的是以Qwen-VL系列为代表的后续工作。Qwen 系列多模态领域的基础设施如果要评选多模态大模型时代影响力最大的模型家族Qwen系列当之无愧。它的影响力体现在两个层面第一作为LLM底座被广泛采用。今天你看到的大量开源多模态模型——InternVL、Janus-Pro、LLaVA-OneVision等——底层的语言模型几乎清一色用的是Qwen2/Qwen2.5/Qwen3。可以说Qwen已经成为多模态研究的水电煤。第二自身的多模态产品线极其完整。阿里围绕Qwen构建了覆盖多模态全场景的模型矩阵模型定位能力Qwen-VL系列2023-2025视觉语言模型图文理解、OCR、视觉推理从Qwen-VL到Qwen2.5-VL持续迭代Qwen-Audio系列语音理解模型语音识别、音频理解Qwen-Image图像生成模型文生图、图像编辑Qwen-Omni系列2025-全模态统一模型文本/图像/音频/视频输入 文本/语音输出在ViT Connector LLM范式下Qwen-VL/InternVL/Seed-VL等工作进一步从ViT结构、原生分辨率、位置编码、视觉Token压缩等维度持续优化形成了当前最主流的MLLM范式。InternVL2.5架构ViT-MLP-LLMQwen2.5-VL架构ViT-MLP-LLM但这套范式也存在三个根本性局限局限具体表现ViT是信息瓶颈主要提取High-level语义特征丢失了Low-level细节OCR、定位等细粒度任务表现不佳特征空间投影存疑将视觉空间硬投影到文本空间是否真正合理只能理解不能生成图像只能作为输入模型只能输出文本无法生成或编辑图像第三个局限尤其关键——它指向了下一个重大命题能否让一个模型既能理解图像、又能生成图像理解 vs 生成一个 Tokenizer 引发的根本矛盾要回答统一理解和生成这个问题首先需要理解一个核心矛盾——图像的两种Tokenizer在特征空间上存在根本性冲突。图像生成 TokenizerVQ-VAE图像理解 TokenizerViT图像生成图像理解TokenizerVQVAEViTloss重构损失loss对比学习loss结构编码解码仅编码量化有量化离散特征无量化连续特征粒度Low-Level 像素级High-level 语义级生成侧用的是VQVAE/VQGAN——通过重构损失训练提取的是低层像素特征每个细节长什么样离散、有量化。理解侧用的是CLIP ViT——通过对比学习训练提取的是高层语义特征这是猫还是狗连续、不量化。一个要Low-level细节一个要High-level语义。一个输出离散码字一个输出连续向量。这就是统一生成和理解的根本矛盾。这不是一个工程问题而是一个路线选择问题。围绕这个矛盾业界发展出了三条不同的技术路线。路线一统一 Tokenizer —— Chameleon 的教训最直觉的想法是用同一个Tokenizer处理理解和生成不就统一了吗2024年Meta的Chameleon就是这个思路。它用同一个VQVAE对图像编码将离散图像Token和文本Token放入同一个自回归序列基于LLaMA-2架构训练。投入了百万GPU hours。Chameleon 架构VQVAE-LLaMA-2早期融合统一序列结果令人遗憾文生图还行但图像理解能力很差。原因直指根本——VQVAE是为重构而训练的几乎没有语义表征能力。用它来做理解相当于让一个只会临摹的画师去做语文阅读理解。后续MIT的VILA-U、字节的UniTok等工作尝试在同一个Tokenizer中同时优化重构和对比学习但Low-level和High-level表征能力的冲突始终难以彻底解决。教训很清楚简单地将两种任务塞进一个Tokenizer行不通。路线二双编码器 —— Janus 的双面神策略既然一个Tokenizer搞不定那就用两个。2025年初DeepSeek的Janus-Pro采用了一种巧妙的解耦策略共享一个LLM Backbone但理解和生成各用一个独立的编码器。Janus双编码器架构共享LLM 解耦的CLIP ViT和VQVAE理解端用CLIP ViT提取语义特征生成端用VQVAE提取像素特征LLM作为统一的自回归大脑处理两种特征、共享推理能力Janus的名字来自罗马神话中的双面神——同时看向理解和生成两个方向。这种设计成功避开了单一Tokenizer的局限理解和生成效果都不错。但双编码器的不足也很明显两个独立编码器意味着理解和生成的特征空间仍然是分离的难以实现深度融合。模型结构也不够原生。有没有更极致的方案路线三纯自回归统一 —— 走向 Decoder-Only2025年中一个更激进的问题被提出“是否可以完全不采用任何外部元件——不要ViT、不要Diffusion——实现一个尽可能简洁的一体化结构”这就是Decoder-Only纯自回归统一架构代表了当前最前沿的探索方向。其核心设计是一个统一的Transformer解码器图像直接以patch形式输入无需ViT输出也直接从Token生成图像无需Diffusion。但前面说的特征空间矛盾依然存在——解决方案是模态MoEMixture of Experts共享QKV和自注意力层让不同模态在注意力空间中充分交互独立FFN专家为文本理解、图像理解、图像生成分别配备独立的前馈网络专家美团OneCAT混合模态专家模型共享注意力 分模态FFN Expert这样既实现了模态间的深度信息交换又保持了各模态特有特征的有效提取。生成端用Next-Scale Prediction替代逐像素预测从粗到细多尺度生成复杂度从O(H²W²)降到O(L)。这类架构的优势非常显著推理时不需要额外的视觉编码器速度快支持图文交错生成先写一段文字、再画一张图、再继续写并且天然支持统一的RL Post-Training。字节Bagel架构双专家Transformer与共享多模态注意力字节的BAGEL是这条路线的代表之一——7B激活参数14B总参采用MoT架构在理解和生成两个维度都达到了开源模型的顶尖水平。走向 Omni不只是图和文还要加上音频和视频如果说前面的讨论集中在图文理解与生成的统一那么下一步就是全模态Omni——将音频、视频、3D等更多模态纳入同一个模型。2024年5月OpenAI发布GPT-4o“o代表Omni”首次实现了文本、图像、音频的原生统一处理用户可以直接用语音对话模型能实时理解语气和情感并生成自然的语音回复和图像。多模态大模型发展趋势全景从单模态到全模态理解与生成统一全模态统一面临的挑战远比图文统一更复杂模态间数据量差异巨大不同模态收敛速度不同训练工程极其复杂。Qwen-Omni全模态理解与语音生成的标杆在全模态赛道上Qwen系列再次展现了强大的工程能力。Qwen2.5-Omni2025.03率先推出Thinker-Talker架构——Thinker思考者负责理解全模态输入并生成文本Talker表达者负责将文本实时转化为流式语音输出。两者并行工作Thinker还在处理后半部分时Talker已经开始输出前半部分的语音端到端延迟低至211ms。Qwen3-Omni2025.09进一步将这条路线推到极致输入覆盖文本、图像、音频、视频四种模态在36项音视频基准测试中32项开源最佳、22项SOTA文本和图像理解能力不降智与专用模型持平支持119种语言的语音识别、10种语言的语音生成支持长达40分钟的音频理解最新的Qwen3.5-Omni更是新增了音色克隆、语义打断、语音控制等实时交互能力在215项评测中取得SOTA。Qwen-Omni目前尚未将图像生成集成进主模型图像生成由Qwen-Image独立承担但在全模态理解 语音生成这条路上已经做到了业界顶尖。Ming-Omni开源全模态统一的先行者蚂蚁集团的Ming系列则在另一个维度发力——成为首个在模态覆盖上全面对标GPT-4o的开源模型不仅覆盖全模态理解还同时支持图像生成和语音生成。Ming-Flash-Omni的MoE跨模态融合架构Multi-Router AnyExpertsMing-Flash-Omni在架构上的关键创新包括Multi-Router AnyExperts传统MoE给每个Token激活固定K个专家但不同Token的重要度差异很大——Ming让模型自己决定每个Token需要激活多少专家按需分配算力。MingTok统一表征用连续表征做理解和生成效果最好——高维语义表征做自回归输入低维潜在表征做自回归输出同一套范式统一图像和语音处理。全模态第一梯队全景当前全模态赛道的主要玩家模型全模态输入文本输出语音输出图像生成亮点GPT-4o/5✅✅✅✅闭源标杆率先定义Omni形态Gemini 2/3✅✅✅✅原生多模态训练长上下文Qwen-Omni系列✅✅✅❌独立模型开源音视频理解SOTAThinker-Talker架构Ming-Omni✅✅✅✅开源领域首个全模态理解生成统一BAGEL图文✅❌✅图文理解生成统一开源标杆全景回顾五年五个阶段回顾2020年至今的发展多模态大模型经历了清晰的五个阶段阶段核心突破代表模型能力边界视觉Transformer化2020统一视觉与语言的底层架构ViT图像分类跨模态对齐2021图文嵌入空间统一CLIP、SigLIP图文检索、零样本分类多模态理解2023-2024LLM获得视觉理解能力LLaVA、Qwen-VL、InternVL、GPT-4V图文问答、视觉推理理解生成统一2024-2025同一模型同时理解和生成图像Chameleon、Janus-Pro、BAGEL图文理解图像生成编辑全模态统一2025-音视图文全面覆盖GPT-4o、Qwen-Omni、Ming-Omni、Gemini全模态理解全模态生成特别值得注意的是Qwen系列贯穿了第三到第五阶段Qwen-VL是多模态理解阶段的核心玩家Qwen2/2.5作为LLM底座支撑了Janus-Pro等统一模型Qwen-Omni则直接进入了全模态赛道。可以说Qwen是多模态大模型时代真正的基础设施级存在。值得关注的几个技术洞察统一是大趋势从分离式模型到统一式模型减少模块拼接、增加原生融合Tokenizer是核心瓶颈理解和生成的矛盾本质上是Tokenizer特征空间的矛盾原生融合优于后期拼接早期多模态预训练比后期接Adapter效果更好数据配比决定上限生成任务对数据量需求高、对参数量需求低与语言任务呈不同的Scaling趋势2026年AI行业最大的机会毫无疑问就在应用层字节跳动已有7个团队全速布局Agent大模型岗位暴增69%年薪破百万腾讯、京东、百度开放招聘技术岗80%与AI相关……如今超过60%的企业都在推进AI产品落地而真正能交付项目的大模型应用开发工程师****却极度稀缺落地AI应用绝对不是写几个prompt调几个API就能搞定的企业真正需要的是能搞定这三项核心能力的人✅RAG融入外部信息修正模型输出给模型装靠谱大脑✅Agent智能体让AI自主干活通过工具调用Tools环境交互多步推理完成复杂任务。比如做智能客服等等……✅微调针对特定任务优化让模型适配业务目前脉脉上有超过1000家企业发布大模型相关岗位人工智能岗平均月薪7.8w实习生日薪高达4000远超其他行业收入水平技术的稀缺性才是你「值钱」的关键具备AI能力的程序员比传统开发高出不止一截有的人早就转行AI方向拿到百万年薪AI浪潮正在重构程序员的核心竞争力现在入场仍是最佳时机我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】⭐️从大模型微调到AI Agent智能体搭建剖析AI技术的应用场景用实战经验落地AI技术。从GPT到最火的开源模型让你从容面对AI技术革新大模型微调掌握主流大模型如DeepSeek、Qwen等的微调技术针对特定场景优化模型性能。学习如何利用领域数据如制造、医药、金融等进行模型定制提升任务准确性和效率。RAG应用开发深入理解检索增强生成Retrieval-Augmented Generation, RAG技术构建高效的知识检索与生成系统。应用于垂类场景如法律文档分析、医疗诊断辅助、金融报告生成等实现精准信息提取与内容生成。AI Agent智能体搭建学习如何设计和开发AI Agent实现多任务协同、自主决策和复杂问题解决。构建垂类场景下的智能助手如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等。如果你也有以下诉求快速链接产品/业务团队参与前沿项目构建技术壁垒从竞争者中脱颖而出避开35岁裁员危险期顺利拿下高薪岗迭代技术水平延长未来20年的新职业发展……那这节课你一定要来听因为留给普通程序员的时间真的不多了立即扫码即可免费预约「AI技术原理 实战应用 职业发展」「大模型应用开发实战公开课」还有靠谱的内推机会直聘权益完课后赠送大模型应用案例集、AI商业落地白皮书