031、多模态大模型入门CLIP、BLIP与LLaVA原理浅析上周帮团队排查一个图文检索系统的线上bug现象很诡异用户上传一张“红色跑车在雪地”的图片系统返回的文本描述居然是“白色轿车在沙滩”。我盯着日志看了半小时发现模型对“红色”和“雪地”这两个关键视觉特征完全没捕捉到。翻看模型结构用的是两年前的一个双塔模型图像编码器和文本编码器各自独立训练最后只做了简单的余弦相似度对齐。这种“各管各”的做法本质上没有让视觉和语言在特征空间里真正对话。这个坑让我决定把多模态大模型的基础原理重新梳理一遍。今天聊三个绕不开的模型CLIP、BLIP和LLaVA。它们代表了多模态学习的三个关键阶段——从“对齐”到“融合”再到“生成”。CLIP用4亿对图文数据暴力对齐CLIP的思路其实很朴素既然要让模型理解“图片里有什么”那就让模型同时看图片和对应的文本描述学会把相似的图文对在向量空间里拉近把不相似的推远。训练时CLIP用了一个对比学习的目标函数。假设一个batch里有N个图文对模型会生成N个图像向量和N个文本向量然后计算一个N×N的相似度矩阵。对角线上的元素是正样本匹配的图文对其他位置都是负样本。损失函数就是让对角线上的相似度尽可能大其他位置尽可能小。这个操作在代码里实现时有个容易踩坑的地方——温度系数τ的初始化。我见过有人直接设成1.0结果训练初期梯度消失模型根本学不动。CLIP论文里用的是0.07这个值是通过实验调出来的别自己瞎改。CLIP的图像编码器用的是ViTVision Transformer文本编码器用的是Transformer。这里有个设计细节值得注意CLIP没有用BERT那种双向注意力而是用了因果注意力causal attention因为文本侧需要生成式地预测下一个token。但CLIP最终只取文本编码器输出的[EOS] token作为整个句子的表示而不是像BERT那样取[CLS]。为什么因为CLIP的训练目标是图文对齐不是句子分类[EOS]在因果注意力下能更好地聚合全局信息。CLIP的局限性也很明显它只能做“匹配”和“检索”不能做“生成”。你给它一张图它只能告诉你“这张图和哪段文本最像”但没法自己写出一段描述。而且CLIP对细粒度属性的理解很差——比如“红色跑车在雪地”和“白色轿车在沙滩”在CLIP的向量空间里可能距离很近因为“车”和“户外场景”这两个粗粒度特征主导了相似度计算。BLIP从对齐走向融合BLIP的出现就是为了解决CLIP“只对齐不融合”的问题。它的核心创新是引入了一个多模态编码器-解码器结构让视觉和文本信息在更深的层次上交互。BLIP的架构可以拆成三个模块一个单模态编码器处理纯文本或纯图像、一个基于交叉注意力的图像-文本编码器做图文融合、一个基于因果注意力的图像-文本解码器做文本生成。这三个模块共享大部分参数只在注意力机制上做区分。这种设计的好处是训练时可以用同一个模型同时做三个任务——图文对比学习ITC、图文匹配ITM、语言建模LM。这里有个工程上的坑ITC和ITM两个任务对负样本的处理方式不同。ITC用的是batch内的负样本而ITM需要更“难”的负样本——比如把“一只狗在草地上”的图片和“一只猫在沙发上”的文本配对。BLIP的做法是先用ITC算出的相似度挑出那些相似度高的负样本hard negatives再让ITM去区分。这个“先粗筛再细判”的策略在代码实现时要注意数据加载的顺序——别把ITC和ITM的负样本混在一起否则模型会学到偷懒的捷径。BLIP还有一个重要的改进引入了CapFiltCaptioning and Filtering机制。简单说就是先用一个生成模型给无标签图片打上伪标签caption再用一个判别模型过滤掉质量差的伪标签。这个思路后来被很多工作借鉴但实际使用时要注意生成模型和判别模型如果共享参数容易产生“自我强化”的偏差——生成模型产出的错误描述判别模型也会倾向于认为是对的。BLIP的做法是让两个模型独立训练但参数不共享代价是训练成本翻倍。LLaVA让大语言模型看懂图片如果说CLIP和BLIP还在“理解”层面打转LLaVA则真正迈入了“生成”阶段——它把大语言模型LLM和视觉编码器连接起来让LLM能够根据图片内容进行对话、推理和创作。LLaVA的架构极其简洁一个预训练的视觉编码器CLIP的ViT-L/14加上一个线性投影层再连接一个LLMVicuna。训练分两个阶段第一阶段只训练投影层让视觉特征和LLM的输入空间对齐第二阶段联合微调投影层和LLM让模型学会根据图片和指令生成回答。这个两阶段训练策略在实践中有个容易被忽视的细节第一阶段的数据量要足够大否则投影层学不到稳定的映射。LLaVA用了CC3M的595K图文对但实际复现时我发现如果只用10万对数据第二阶段微调时LLM会很快过拟合到训练集上对未见过的图片泛化能力很差。建议至少准备50万对以上而且图文质量要干净——那些“图片里有个模糊的物体文本描述是‘这是一张图片’”的样本趁早过滤掉。LLaVA的另一个亮点是它的指令微调数据构造方式。它用GPT-4生成了三种类型的对话数据简单问答“图片里有什么”、详细描述“请描述这张图片的场景”、复杂推理“为什么这个人看起来不开心”。这个思路后来被很多多模态模型沿用但有个坑GPT-4生成的描述有时会包含幻觉信息比如图片里明明没有“太阳”GPT-4却写“阳光洒在草地上”。这些幻觉数据会被LLaVA学到导致模型在推理时也胡编乱造。解决办法是在数据生成后加一轮人工校验或者用CLIP的图文匹配分数做自动过滤。从实践角度看三个模型的选择如果你要做图文检索系统CLIP仍然是性价比最高的选择。它的推理速度快部署简单而且有大量预训练权重可以直接用。但要注意CLIP对细粒度属性的理解不够如果你的业务场景需要区分“红色跑车”和“白色轿车”建议在CLIP的基础上做领域微调或者用BLIP的ITM模块做二次验证。如果你要做图文理解比如判断图片和文本是否匹配BLIP的ITM能力比CLIP强很多。但BLIP的模型体积大推理速度慢不适合高并发的在线服务。我通常的做法是用CLIP做粗筛召回Top-100候选再用BLIP做精排。如果你要做图文生成比如根据图片写文案、做对话LLaVA是目前最成熟的开源方案。但它的训练成本高而且对硬件要求苛刻——至少需要8张A100才能跑完整的训练流程。小团队建议直接用HuggingFace上的预训练权重做推理或者用LoRA做轻量级微调。最后说一个个人经验多模态模型的评估不能只看指标。CLIP的R1再高也不代表它能理解“雪地”和“沙滩”的区别。我现在的做法是每次模型迭代后手动构造20个“边界案例”——比如“红色物体在白色背景上”“小物体在大场景中”——然后逐个检查模型的输出。这些边界案例往往能暴露模型真正的短板比任何指标都管用。多模态大模型的发展速度很快CLIP、BLIP、LLaVA只是三个里程碑。下一个方向是什么我猜是“统一”——用一个模型同时做理解、生成、检索、推理。但那是另一个故事了等我把手头这个图文检索系统的bug修完再说。