来源专知随着大语言模型LLMs的持续演进仅依靠人类监督来提升模型性能的成本日益高昂且在可扩展性方面存在局限。当模型在特定领域接近人类水平时人类反馈可能无法再为进一步的提升提供足够的信息增益。与此同时模型自主决策和执行复杂任务能力的增强使得模型开发流程中各个组件的逐步自动化成为可能。在挑战与机遇的共同驱动下“自我改进”Self-improvement引起了学术界日益增长的关注即模型自主生成数据、评估输出并迭代优化自身能力。本文从系统级视角审视了具备自我改进能力的语言模型并提出了一套整合现有技术的统一框架。我们将自我改进系统概念化为一个闭环生命周期由四个紧密耦合的过程组成数据获取、数据筛选、模型优化和推理细化并辅以一个自主评估层。在该框架中模型自身在驱动各个阶段中发挥着核心作用收集或生成数据、筛选信息信号、更新参数以及细化输出同时自主评估层持续监控进展并引导跨阶段的改进循环。基于这一生命周期视角我们从技术角度系统地评述并分析了各组件的代表性方法。此外我们进一步讨论了当前的局限性并对通往完全自我改进 LLM 的未来研究方向进行了展望。1 引言 (Introduction)通过扩展模型规模、训练数据和计算量大语言模型LLMs已实现快速且持续的性能增益Brown et al., 2020; Ouyang et al., 2022; Hoffmann et al., 2022; OpenAI et al., 2024。支撑这一进展的普遍假设是更大规模、更高质量的数据集特别是专家标注的人类监督是催生更强模型的关键。在实践中诸如 RLHFOuyang et al., 2022等方法高度依赖精心策划的高质量监督信号以对预训练模型进行对齐和细化。然而随着模型的不断演进主要依靠人类监督来改进模型的范式暴露出了几项结构性局限人类数据的稀缺性日益凸显高质量的专家标注数据成本高昂且难以规模化Gilardi et al., 2023; Villalobos et al., 2024。构建大型监督数据集的边际成本迅速增长而专家劳动力资源却始终有限。更深层的局限在于人类认知的边界如果模型监督始终受限于人类智能模型是否能真正超越人类水平当模型在某些领域接近或超过人类水平时人类反馈可能不再能提供足够的信息梯度Informative Gradients以支持进一步提升Bowman, 2023; Burns et al., 2023。这提出了一个根本性问题当模型与其监督者人类水平持平时如何持续进化上述局限共同促使学术界探索**模型自我改进Model Self-improvement**这一极具前景的方向。模型不再完全依赖外部的人类信号而是利用自身能力来生成数据、评估输出并迭代优化其策略。从自动化的角度来看这一方向不仅是理想的而且是必然的。随着 LLMs 的进阶它们展现出了解决复杂工程任务和参与高层决策的能力。鉴于 LLMs 的开发过程包括数据获取、筛选和模型训练本身就是一项高度复杂的工程任务将这些职责委派给模型自身是一个自然的演进过程。通过将 LLMs 作为智能体Agents来编排自身的开发生命周期一个“系统侧”的自我改进闭环得以建立。如图 1 所示我们的愿景是从人类驱动的模型开发转向自主自我改进系统范式使 LLM 通过自主导向的迭代和反馈不断增强其能力。我们将 LLM 的自我改进定义为**一种在没有持续人工干预Human-in-the-loop的情况下模型迭代增强自身能力的学习范式。**该范式具有两个核心属性自主性Autonomy改进过程无需持续的人工标注或手动校正。“自我”并不排斥外部组件系统仍可使用教师模型、验证器Verifiers、评论家Critics、奖励模型或自动评估器等辅助模块。关键要求是学习环节一旦部署必须是完全自动化的。持续性Continuity自我改进并非一次性的细化而是一个迭代的、自我强化的过程。前期阶段的输出或经验被重新利用为后续更新产生更强的监督信号。每一轮改进都依赖并放大先前的成果从而实现随时间推移的累积式进展。在此定义下自我改进不仅仅是提升任务指标的技术更是一种实现持续、自主增长的结构性能力。从 AI 长期发展的视角看这种能力被广泛认为是构建能够超越初始训练范畴、实现持续学习与适应的系统的核心。受此愿景启发如图 2 所示我们提出了一个由五个互连组件组成的生命周期自我改进系统。其中四个组件——数据获取、数据筛选、模型优化和推理细化——共同解决了一个核心问题为了构建端到端的自我改进系统如何在不同阶段利用模型自身来驱动持续且自主的贡献具体而言数据获取Data Acquisition模型自主收集或生成训练数据。数据筛选Data Selection模型独立评估并过滤出质量更高、更适合自身学习的数据点。模型优化Model Optimization模型自主学习有效地将数据转化为其参数内部的增强能力。推理细化Inference Refinement模型在推理过程中提升性能而无需更改底层参数。除了这四个阶段系统还需要一种长期衡量与引导机制以确保自我改进的稳定性和可持续性。为此我们引入了第五个组件自主评估Autonomous Evaluation。它为模型表现提供持续反馈并引导其未来的发展方向。由于静态基准测试Benchmarks会迅速过时且人工评估无法随系统规模同步增长这种机制至关重要。通过自主评估模型可以保持及时、自适应的反馈支撑长期的持续改进。这五个组件共同将模型置于自动化迭代闭环的核心地位。该统一系统确保了改进信号能够被一致地生成、筛选、应用、细化和评估为实现更广泛的系统级 LLM 自我改进铺平了道路。近期已有一些综述从不同角度探讨了自我改进。例如Tao et al. (2024) 关注通过自我训练和强化学习实现的策略级自我演化Dong et al. (2024) 评述了提示词Prompting和解码细化等推理侧改进技术Fang et al. (2025a) 和 Gao et al. (2026) 则强调智能体系统突出记忆、反思和工具增强交互。尽管如此现有研究大多集中在特定阶段如训练或推理的局部机制。相比之下我们采用了系统级视角将自我改进概念化为一个统一的、闭环的生命周期将模型开发的所有阶段整合进一个连贯的、用于可扩展自主演化的端到端框架中。本文余下部分分为两个主要部分。首先从技术角度系统研究自我改进系统中的每个组件§2 至 §6并将其分类如图 3 所示。其次我们将讨论更宏观的自我改进系统§7 至 §9涵盖挑战、局限、应用及未来展望结构如图 9 所示。此外尽管本文以模型为中心但也纳入了关于**自我演化智能体Self-evolving agents**的研究。我们认为从单一阶段向统一自我改进系统的转变与从独立模型向智能体系统的转变相呼应反映了向更自主、交互式学习系统范式发展的共同趋势。阅读最新前沿科技趋势报告请访问21世纪关键技术研究院的“未来知识库”未来知识库是“21世纪关键技术研究院”建立的在线知识库平台收藏的资料范围包括人工智能、脑科学、互联网、超级智能数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。截止到2月28日 ”未来知识库”精选的百部前沿科技趋势报告加入未来知识库全部资料免费阅读和下载牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》麦肯锡超级智能机构赋能人们释放人工智能的全部潜力AAAI 2025 关于人工智能研究未来研究报告斯坦福2025 斯坦福新兴技术评论十项关键技术及其政策影响分析报告191 页壳牌2025 能源安全远景报告能源与人工智能57 页盖洛普 牛津幸福研究中心2025 年世界幸福报告260 页Schwab 2025 未来共生以集体社会创新破解重大社会挑战研究报告36 页IMD2024 年全球数字竞争力排名报告跨越数字鸿沟人才培养与数字法治是关键214 页DS 系列专题DeepSeek 技术溯源及前沿探索50 页 ppt联合国人居署2024 全球城市负责任人工智能评估报告利用 AI 构建以人为本的智慧城市86 页TechUK2025 全球复杂多变背景下的英国科技产业战略韧性与增长路径研究报告52 页NAVEX Global2024 年十大风险与合规趋势报告42 页《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页2025 - 2035 年人形机器人发展趋势报告 53 页Evaluate Pharma2024 年全球生物制药行业展望报告增长驱动力分析29 页【AAAI2025 教程】基础模型与具身智能体的交汇350 页 pptTracxn2025 全球飞行汽车行业市场研究报告45 页谷歌2024 人工智能短跑选手AI Sprinters捕捉新兴市场 AI 经济机遇报告39 页【斯坦福博士论文】构建类人化具身智能体从人类行为中学习《基于传感器的机器学习车辆分类》最新 170 页美国安全与新兴技术中心2025 CSET 对美国人工智能行动计划的建议18 页罗兰贝格2024 人形机器人的崛起从科幻到现实如何参与潜在变革研究报告11 页兰德公司2025 从研究到现实NHS 的研究和创新是实现十年计划的关键报告209 页康桥汇世Cambridge Associates2025 年全球经济展望报告44 页国际能源署2025 迈向核能新时代麦肯锡人工智能现状组织如何重塑自身以获取价值威立Wiley2025 全球科研人员人工智能研究报告38 页牛津经济研究院2025 TikTok 对美国就业的量化影响研究报告470 万岗位14 页国际能源署IEA能效 2024 研究报告127 页Workday 2025 发挥人类潜能人工智能AI技能革命研究报告20 页CertiKHack3D2024 年 Web3.0 安全报告28 页世界经济论坛工业制造中的前沿技术人工智能代理的崛起》报告迈向推理时代大型语言模型的长链推理研究综述波士顿咨询2025 亚太地区生成式 AI 的崛起研究报告从技术追赶者到全球领导者的跨越15 页安联Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告33 页IMT2025 具身智能Embodied AI概念、核心要素及未来进展趋势与挑战研究报告25 页IEEE2025 具身智能Embodied AI综述从模拟器到研究任务的调查分析报告15 页CCAV2025 当 AI 接管方向盘自动驾驶场景下的人机交互认知重构、变革及对策研究报告124 页《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新 132 页《面向科学发现的智能体人工智能进展、挑战与未来方向综述》全国机器人标准化技术委员会人形机器人标准化白皮书2024 版96 页美国国家科学委员会NSB2024 年研究与发展 - 美国趋势及国际比较51 页艾昆纬IQVIA2025 骨科手术机器人技术的崛起白皮书创新及未来方向17 页NPLBeauhurst2025 英国量子产业洞察报告私人和公共投资的作用25 页IEA PVPS2024 光伏系统经济与技术关键绩效指标KPI使用最佳实践指南65 页AGI 智能时代2025 让 DeepSeek 更有趣更有深度的思考研究分析报告24 页2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告37 页华为2025 鸿蒙生态应用开发白皮书133 页《超级智能战略研究报告》中美技术差距分析报告 2025欧洲量子产业联盟QuIC2024 年全球量子技术专利态势分析白皮书34 页美国能源部2021 超级高铁技术Hyperloop对电网和交通能源的影响研究报告60 页罗马大学2025 超级高铁Hyperloop第五种新型交通方式 - 技术研发进展、优势及局限性研究报告72 页兰德公司2025 灾难性网络风险保险研究报告市场趋势与政策选择93 页GTI2024 先进感知技术白皮书36 页AAAI2025 人工智能研究的未来报告17 大关键议题88 页安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告威达信2025 全球洪水风险研究报告现状、趋势及应对措施22 页兰德公司迈向人工智能治理研究报告2024EqualAI 峰会洞察及建议19 页哈佛商业评论2025 人工智能时代下的现代软件开发实践报告12 页德安华全球航空航天、国防及政府服务研究报告2024 年回顾及 2025 年展望27 页奥雅纳2024 塑造超级高铁Hyperloop的未来监管如何推动发展与创新研究报告28 页HSOAC2025 美国新兴技术与风险评估报告太空领域和关键基础设施24 页Dealroom2025 欧洲经济与科技创新发展态势、挑战及策略研究报告76 页《无人机辅助的天空地一体化网络学习算法技术综述》谷歌云Google Cloud2025 年 AI 商业趋势白皮书49 页《新兴技术与风险分析太空领域与关键基础设施》最新报告150 页《DeepSeek 大模型生态报告》军事人工智能行业研究报告技术奇点驱动应用加速智能化重塑现代战争形态 - 25030940 页真格基金2024 美国独角兽观察报告56 页璞跃Plug and Play2025 未来商业研究报告六大趋势分析67 页国际电工委员会IEC2025 智能水电技术与市场展望报告90 页RWS2025 智驭 AI 冲击波人机协作的未来研究报告39 页国际电工委员会IEC2025 智能水电技术与市场展望报告90 页RWS2025 智驭 AI 冲击波人机协作的未来研究报告39 页未来今日研究所 2025 年科技趋势报告第 18 版 1000 页模拟真实世界多模态生成模型的统一综述中国信息协会低空经济分会低空经济发展报告2024 - 2025117 页浙江大学2025 语言解码双生花人类经验与 AI 算法的镜像之旅42 页人形机器人行业由 “外” 到 “内” 智能革命 - 25030651 页大成2025 年全球人工智能趋势报告关键法律问题28 页北京大学2025 年 DeepSeek 原理和落地应用报告57 页欧盟委员会 人工智能与未来工作研究报告加州大学伯克利分校面向科学发现的多模态基础模型在化学、材料和生物学中的应用电子行业从柔性传感到人形机器人触觉革命 - 25022635 页RT 轨道交通2024 年中国城市轨道交通市场数据报告188 页FastMoss2024 年度 TikTok 生态发展白皮书122 页Check Point2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议57 页【AAAI2025 教程】评估大型语言模型挑战与方法199 页 ppt《21 世纪美国的主导地位核聚变》最新报告沃尔特基金会Volta Foundation2024 年全球电池行业年度报告518 页斯坦福2025 斯坦福新兴技术评论十项关键技术及其政策影响分析报告191 页国际科学理事会2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告英文版118 页光子盒2025 全球量子计算产业发展展望报告184 页奥纬论坛2025 塑造未来的城市研究报告全球 1500 个城市的商业吸引力指数排名124 页Future Matters2024 新兴技术与经济韧性日本未来发展路径前瞻报告17 页《人类与人工智能协作的科学与艺术》284 页博士论文《论多智能体决策的复杂性从博弈学习到部分监控》115 页《2025 年技术展望》56 页 slides大语言模型在多智能体自动驾驶系统中的应用近期进展综述【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用皮尤研究中心2024 美国民众对气候变化及应对政策的态度调研报告气候政策对美国经济影响的多元观点审视28 页空间计算行业深度发展趋势、关键技术、行业应用及相关公司深度梳理 - 25022433 页Gartner2025 网络安全中的 AI明确战略方向研究报告16 页北京大学2025 年 DeepSeek 系列报告 - 提示词工程和落地场景86 页北京大学2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用99 页CIC 工信安全2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告42 页中科闻歌2025 年人工智能技术发展与应用探索报告61 页AGI 智能时代2025 年 Grok - 3 大模型技术突破与未来展望报告28 页上下滑动查看更多