1. 项目概述当多模态大模型“玩”起指称游戏最近在跟进多模态大模型Multimodal LLM和智能体Agents的研究时一个特别有意思的课题浮出水面让这些模型去玩一种经典的“指称游戏”。这个游戏很简单两个参与者一个“说话者”和一个“听话者”面对一组相似的物品。说话者需要描述其中一个目标物品听话者则要根据描述从这组物品中把它挑出来。人类玩这个游戏时会自然而然地发展出一些“约定俗成”的沟通策略比如用最独特的特征来指代目标或者基于共同的文化背景使用比喻。但问题是当参与游戏的双方都是大模型智能体时它们没有人类那种根植于社会和文化经验的“默契”它们是怎么成功的它们建立的“对齐”和我们理解的“合作”是一回事吗这正是标题“Aligned but Not Partner-Specific”所指向的核心谜题模型之间可能达成了某种有效的沟通“对齐”但这种对齐并非基于对特定伙伴的理解或人类式的社会契约。这不仅仅是学术游戏。想想看未来我们会有多个AI助手协同工作或者人机混合团队需要高效沟通。一个AI向另一个AI描述一张设计图上的特定修改点或者解释一段复杂数据中的异常值本质上都是指称游戏。理解AI智能体之间如何建立有效但非人类化的沟通协议对于设计更鲁棒、更可扩展的多智能体系统至关重要。它迫使我们跳出“拟人化”的思维定势去审视这些模型底层的能力与局限。2. 核心思路拆解从“拟人合作”到“统计对齐”传统上我们倾向于用人类的合作沟通模型来理解智能体间的交互认为成功需要“理解对方意图”、“建立共享语境”。但多模态大模型智能体的表现可能揭示了一条不同的路径。2.1 指称游戏作为测试床指称游戏是一个近乎完美的测试环境。它剥离了复杂任务规划、长期记忆等干扰项将问题聚焦在最核心的“跨模态指代”能力上如何将视觉信息看到的物品转化为语言描述再如何将语言描述映射回正确的视觉实体。对于多模态LLM智能体而言这直接考验其视觉编码、语言生成和跨模态匹配的综合能力。在典型的实验设置中研究者会构建一个包含多个相似物品的场景例如不同颜色、形状、位置的几何体或者不同品种、姿态的猫。一个智能体担任“说话者”接收目标物品的图像和干扰项图像生成一段描述。另一个智能体担任“听话者”接收这段文字描述以及包含目标在内的所有物品图像然后选出它认为的目标。成功率是核心指标。2.2 “对齐”的本质隐式共享表示空间当两个基于相同或相似架构训练的多模态LLM智能体玩这个游戏时它们常常能取得远超随机水平的成功率。这种成功论文标题称之为“Aligned”。但这种“对齐”很可能不是源于智能体A“思考”了智能体B会怎么想而是源于一个更底层的事实它们共享一个高度结构化的、隐式的“表示空间”。这个表示空间是在海量图文对数据上预训练得来的。在训练过程中模型学会了将图像和文本映射到一个共同的、高维的向量空间中使得语义相近的图像和文本的向量表示也相近。当“说话者”看到一张“红色圆形在左边的图片”时它生成的描述“左边的红色圆形”的文本向量在其内部表示空间中与那张目标图像向量的距离会远小于与其他“蓝色方形”或“红色方形”图像向量的距离。关键在于“听话者”模型内部有几乎相同的表示空间结构。当它接收到文本“左边的红色圆形”时该文本的向量表示会激活表示空间中与“红色”、“圆形”、“左边”等概念相关的区域。然后当它扫描所有候选图像时它会计算每个图像向量与这个文本向量的相似度如余弦相似度。那个在训练数据中被无数次与类似文本关联过的“红色圆形在左”的图像模式其向量与当前文本向量的相似度自然最高。所以这种“对齐”更像是两个使用了同一套“世界编码字典”的翻译器在对话。它们不需要理解对方的思维过程只需要严格按照字典的编码和解码规则操作就能实现有效的信息传递。这是一种统计意义上的对齐而非认知意义上的合作。2.3 “非伙伴特异性”的含义与验证“Not Partner-Specific”是另一个关键点。如果成功依赖于人类式的、针对特定伙伴的默契比如“我知道你喜欢用‘那个小可爱’来指代最小的物体”那么换一个不同的“听话者”模型成功率应该会显著下降。但实验往往发现一个“说话者”生成的描述对于多个不同的、但架构和训练数据相似的“听话者”模型依然保持较高的识别成功率。反之亦然。这进一步支持了“共享表示空间”的假说。沟通的有效性不依赖于对特定伙伴内部状态的建模而依赖于对通用、静态的跨模态关联模式的依赖。智能体A并不需要为智能体B“定制”描述它只需要生成一个在其自身模型看来能最大程度区分目标与干扰项的、符合其训练数据分布的描述即可。而这个描述恰好也能被其他具有相似数据分布的模型所理解。注意这里的“非伙伴特异性”有其边界。它通常适用于同源或相似架构/数据训练的模型。如果一个基于纯英文数据训练的模型和一个基于纯中文数据训练的模型玩这个游戏或者一个视觉编码器完全不同的模型参与进来这种“对齐”很可能会失效。这说明对齐的基础是训练分布的相似性而非某种普适的通信协议。3. 实现路径与核心技术点剖析要让多模态LLM智能体成功玩转指称游戏并探究其“对齐”机制需要一套完整的技术栈和实验设计。下面我们拆解其中的关键环节。3.1 智能体架构构建目前的主流方案是构建“基于LLM的智能体”。这里的LLM通常是强大的多模态大模型如GPT-4V、Gemini Pro Vision、Claude 3或开源的LLaVA、Qwen-VL等。智能体并非从头训练而是以这些大模型为核心推理引擎。说话者智能体的流程通常为输入接收一组图像包括目标图像和若干干扰图像。提示工程通过精心设计的系统提示System Prompt赋予其角色和任务例如“你是一个说话者。你将看到多张图片其中一张被标记为目标。你的任务是用一句自然语言描述这张目标图片使得一个没见过这些图片的听话者能仅凭你的描述从所有图片中准确找出目标。描述应聚焦于能区分目标与干扰项的特征。”上下文提供有时为了模拟更真实的情境或测试特定能力会将所有图片或对每张图片的简短标签也提供给说话者让其知晓全局上下文。描述生成模型基于提示和视觉输入生成一段文本描述。听话者智能体的流程则为输入接收说话者生成的文本描述以及同一组图像通常不标记目标。提示工程系统提示如“你是一个听话者。你将听到一段对其中一张图片的描述并看到所有候选图片。你的任务是指出哪张图片最符合描述。请只输出图片的编号或标识符。”跨模态匹配模型需要理解文本描述并将其与每一张图片进行匹配找出匹配度最高的一张。决策输出模型输出选择的图片标识符。3.2 成功的关键提示设计与上下文管理模型的成功严重依赖于提示设计。一个糟糕的提示可能导致模型描述无关细节或做出无效假设。对于说话者明确区分性提示必须强调“区分性”。模型容易陷入仅仅描述目标本身“这是一只猫”而忽略在干扰项都是猫背景下什么特征才是唯一的“这是唯一一只伸懒腰的橘猫”。需要在提示中明确要求“关注能将其与其他图片区别开来的特征”。控制描述长度与风格可以通过提示约束描述的长度和风格例如“用一句话描述”、“避免使用模糊代词‘它’”。这有助于生成更精确、可操作的描述。提供示例在提示中加入少量示例Few-shot Learning能快速引导模型理解任务格式和期望的输出风格。对于听话者强制结构化输出要求输出特定格式如“图片编号X”便于自动化评估避免模型生成冗余解释。处理歧义可以指示模型在认为描述匹配多张图片时输出“不确定”这有助于分析沟通失败的边界情况。上下文管理同样重要。是否让说话者看到所有图片这模拟了“共同视野”情境。还是只让说话者看到目标图片这模拟了“私密信息”情境。不同的设置会激发模型不同的策略也是研究其沟通模式的重要变量。3.3 评估与度量超越准确率最直接的评估指标是指称准确率即听话者正确识别目标的次数占总次数的比例。但为了深入理解“如何”成功我们需要更细粒度的分析描述质量分析独特性自动或人工评估描述是否真正包含了区分性特征。可以计算描述中提到的属性在干扰项中出现的频率。效率描述的长度词数与准确率的关系。最优的描述应该是用最少的词达到高准确率。可迁移性将同一个说话者生成的描述用于不同的听话者模型甚至人类测试其通用性。这是检验“伙伴特异性”的关键。错误案例分析系统性错误模型是否在某些特定类型的物品或场景上反复失败例如当区别仅在于空间关系左/右时模型是否表现不佳混淆模式分析听话者选错时它选择了哪个干扰项。这能揭示模型对哪些特征更敏感颜色 vs. 形状 vs. 纹理或者其空间推理的局限性。消融实验移除上下文对比说话者有无全局视野时的表现差异可以评估模型是否利用了“共同知识”进行推理。更换模型组件例如保持语言模型不变更换视觉编码器观察准确率变化可以剖析视觉表征质量对任务的影响。调整提示策略系统性地改变提示词观察生成描述和最终准确率的稳定性评估提示的鲁棒性。4. 多模态LLM智能体的“非人类”策略揭秘通过大量实验我们可以观察到多模态LLM智能体在指称游戏中表现出一些鲜明且“非人类”的策略这些策略直接源于其基于数据驱动的本质。4.1 策略一过度依赖显著视觉特征人类在描述时会综合考虑特征显著性和对话伙伴的认知状态。而大模型智能体往往表现出对低级视觉特征的过度依赖尤其是那些在训练数据中被强烈关联到特定词汇的特征。例如面对一组动物图片其中目标是“一只在奔跑的斑马”干扰项是“一只站立的斑马”和“一只在奔跑的马”。人类可能会说“那只正在移动的斑马”因为“奔跑”和“移动”足以在两者中区分斑马。但模型可能会生成“那只黑白条纹正在位移的动物”。它抓住了“黑白条纹”颜色纹理这个极其显著的特征并可能用“位移”这种更泛化或训练语料中常见的词来描述奔跑。它并不关心“奔跑”这个词对于区分斑马和马是否更有效它只是从它的参数空间中提取出与目标图像向量最“匹配”的文本模式。实操心得在分析模型生成的描述时不要用人类的沟通效率去评判。模型可能使用了在你看来冗余或奇怪的特征组合但这恰恰反映了其内部跨模态关联的强度。理解这一点对于设计需要与模型沟通的提示词非常重要——你需要用模型“熟悉”的特征词汇去引导它。4.2 策略二缺乏“共同基础”的主动构建人类沟通的核心是不断建立和更新“共同基础”——双方共享的知识和信念。在指称游戏中人类说话者会默认听话者与自己看到相同的物品集合并基于此生成描述。而大模型智能体即使在被提供了全部图像作为上下文后其生成描述的过程也未必是“为这个特定听话者构建共同基础”的主动推理过程。更多时候这像是一个“条件生成”任务给定目标图像和干扰项图像集合生成一段能最大化该目标与文本关联概率的字符串。模型并没有一个明确的“听话者心智模型”。它的成功是因为它生成的字符串恰好也能被另一个执行“文本-图像匹配”任务的模型听话者所正确匹配。这是一种“功能性的对齐”而非“意图性的对齐”。注意事项这意味着当我们试图让AI智能体在更复杂的、需要长期维护共同基础的任务中合作时如共同完成一个多步骤项目当前这种基于统计对齐的沟通模式可能会遇到瓶颈。智能体可能不会主动确认信息是否被对方理解也不会在出现歧义时主动澄清。4.3 策略三对抽象关系和功能的描述能力不稳定对于具体物体属性颜色、形状、大小模型通常表现良好。但当指称依赖于抽象空间关系“A在B和C之间”、功能“用来喝水的那个”、或主观属性“看起来更开心的那个”时模型的性能会出现显著波动。例如在一组工具图片中目标是“锤子”干扰项是“螺丝刀”和“扳手”。人类可能说“那个用来敲钉子的”。但模型可能更倾向于说“那个有木柄和金属头的工具”。它描述了组成部分而非功能。这是因为在训练数据中“锤子”的图片与“木柄”、“金属头”这些视觉特征的共现概率可能远高于与“敲钉子”这类功能描述的共现概率。功能是隐含的、需要推理的而视觉特征是显式的、统计关联强的。常见问题如何提升模型对抽象关系的指代能力一种思路是在提示中显式要求例如“请从功能的角度进行描述”。另一种更根本的思路是在模型预训练或微调阶段引入更多强调关系、功能和因果的图文数据或合成数据。5. 影响、挑战与未来方向这项研究的意义远不止于一个学术游戏。它为我们理解和设计AI智能体间的交互提供了新的透镜。5.1 对多智能体系统设计的启示降低对“心智理论”的过度期望在设计中短期协作的多智能体系统时我们或许不需要急于赋予它们复杂的相互信念建模能力。优先确保它们基于相似的底层表示通过统一架构或数据训练就能通过这种“统计对齐”实现相当高效的沟通。这更简单、更可扩展。通信协议的标准化研究揭示了非伙伴特异性沟通的可能性。这启发我们可以为特定领域的多AI协作设计标准化的“描述语言”或“特征编码协议”。例如在医疗影像分析中不同AI模块之间传递发现时可以使用结构化的特征描述模板如“[部位]-[形态]-[尺寸]-[密度]”而非自由文本这能极大提高沟通的精确度和鲁棒性。人-AI团队沟通的优化理解AI的“非人类”沟通模式能帮助我们更好地设计人机接口。当人类与AI协作时人类需要学习如何用AI“擅长理解”的方式发出指令例如多使用具体、可观测的特征词而AI的输出也需要以更符合人类直觉的方式呈现例如将内部的特征匹配置信度转化为人类可理解的解释。5.2 当前面临的挑战脆弱性与领域依赖基于数据分布的对齐是脆弱的。一旦脱离训练数据的舒适区分布外样本或者智能体之间的模型架构、训练数据差异过大沟通效率会急剧下降。如何建立更鲁棒、更通用的跨模型对齐机制是一个核心挑战。可解释性黑洞我们观察到模型成功了也能分析其策略但对其内部究竟如何实现从图像到区分性描述的映射仍缺乏透彻的理解。这种“对齐”具体发生在表示空间的哪一层哪些神经元在负责捕捉区分性特征这需要更深入的模型可解释性研究。从指称到对话指称游戏是简化的单轮沟通。真实的协作涉及多轮、有状态的对话包含提问、澄清、确认、否定等复杂言语行为。当前的“统计对齐”框架能否扩展到多轮对话中并实现真正的共同目标推进仍是未知数。5.3 未来探索方向学习通信协议与其依赖预训练带来的隐式对齐不如让智能体在交互中主动学习或演化出一套高效的通信协议。这可以通过强化学习来实现将沟通成功作为奖励让智能体自行探索描述方式。这可能会产生出人意料但极其高效的非自然语言“协议”。混合倡议沟通发展具备主动澄清、确认能力的智能体。当听话者不确定时不是随机猜测而是能生成一个反问句“你指的是左边那个红色的还是右边那个红色的”从而将单轮指称游戏扩展为多轮协商。这需要模型具备初步的元认知和对话管理能力。跨模态对齐的理论建模需要更形式化的理论来描述这种“统计对齐”。它可能与信息论中的率失真理论、博弈论中的协调博弈以及机器学习中的表示学习理论密切相关。建立一个坚实的理论框架能指导我们设计更好的模型和训练方法。在我自己尝试复现和探索这类实验的过程中一个深刻的体会是我们常常不自觉地给AI套上“拟人化”的期待而当它的行为偏离这种期待时就简单地归结为“它错了”或“能力不足”。但像指称游戏这样的研究恰恰邀请我们换一个角度放下“人类中心”的标尺去观察和理解AI智能体自身独特的、基于数据与统计的“智慧”形态。它们的“对齐”方式或许生硬缺乏我们珍视的默契与温情但在处理特定类型的信息传递任务时却可能展现出惊人的效率和稳定性。认识到这一点或许是迈向与AI真正有效协作的第一步——不是把它们变成我们而是学会理解并善用它们本来的样子。