模型路由最主流的技术：从规则路由到因果优化的系统级演进声明：📝 作者：甜城瑞庄的核桃（ZMJ）原创学习笔记，欢迎分享，但请保留作者信息及原文链接哦～一、引言：模型路由为何成为AI基础设施层的关键拼图随着可选大语言模型越来越多，「用哪个模型回答这个问题」本身正在变成新一层系统能力：简单请求用小模型快速低成本完成，复杂请求再交给强模型深度推理；必要时还可以多轮试探、分配预算、甚至多模型协同聚合结果。把这种面向每个query的模型选择与调度做成稳定、可复现、可扩展的工程化组件，就是LLM Routing的核心价值所在。当候选模型越来越多、成本与时延约束越来越强，「模型路由与调度层」正在从锦上添花变成基础设施。Model routing与MoE（Mixture of Experts）有着本质区别：MoE在单一模型内部路由专家模块，而模型路由研究的是在多个独立训练的LLM之间进行路由选择。本文将从技术范式演进、核心框架架构、前沿优化方法以及评估体系四个维度，系统梳理当前模型路由领域的主流技术。二、模型路由的技术范式演进模型路由领域的技术演进可以从三个层次来理解：基础规则路由、智能语义路由和学习型路由。这三个层次并非替代关系，而是在生产系统中形成分层协作的架构。2.1 基础规则路由：系统稳定性的基石基础规则路由主要负责同模型多副本间的负载均衡和基于明确规则（如请求来源、简单关键词）的分发流量。其核心技术包括：负载均衡策略：轮询、随机、加权等方式分发请求，适用于无状态场景。性能优化策略：利用一致性哈希（Consistent Hashing）确保相同会话请求路由到同一节点，最大化利用KV Cache。高可用机制：健康检查、熔断、Fallback等机制保证系统韧性。这一层级虽然缺乏智能决策能力，但其实现简单、性能高、延迟低的优势，使其成为生产系统底座层的关键组件。2.2 智能语义路由：理解查询的多维意图语义路由的核心突破在于从「单维度分类」演进到「多维信号感知」。以vLLM语义路由器的演进为例：早期版本依赖于基于分类的路由，即将用户查询分类到14个MMLU领域类别之一，然后路由到相应的模型。这一方法存在三个根本性局限：1. 单维度分析：基于分类的路由仅考虑查询的领域或主题，无法捕获紧急信号、安全敏感性、意图类型、复杂度级别、合规要求等关键上下文。例如，用户问道「我需要紧急帮助来审查我身份验证代码中的安全漏洞」，基于分类的路由器会将其识别为「计算机科学」查询并路由到通用代码模型，但遗漏了紧急性、安全性、代码审查意图和身份验证复杂性等多维信号。2. 固定类别的约束：受限于14个预定义的MMLU类别，无法为特定业务领域创建自定义类别，也无法在领域内定义细粒度的路由规则。拥有50多个专业用例的企业无法在14个类别中表达其路由需求。3. 逻辑不灵活：不支持AND/OR逻辑组合多个条件，当多个条件匹配时没有基于优先级的选择，无法根据信号组合有条件地应用插件。vLLM语义路由提出的「信号-决策架构」（Signal-Decision Architecture）正是为了克服上述局限。该架构通过将信号提取与路由决策分离，并引入带有内置插件编排的灵活决策引擎，从根本上重构了语义路由。新架构引入了三项关键创新：多信号提取：同时捕获用户意图的多个维度（关键词信号、语义信号、上下文信号等）决策引擎