026、灾难性遗忘与持续学习：大模型如何学习新知识不忘旧技能上周在部署一个客服模型升级时，我们踩了个典型的坑：用新领域的对话数据微调后，模型在新任务上表现亮眼，却把原来的产品问答能力忘得一干二净。用户问“怎么重置密码”，模型开始大谈特谈新学的保险理赔流程。团队里有人苦笑：“这模型学新东西倒是快，就是跟狗熊掰棒子似的，掰一个丢一个。”这就是典型的灾难性遗忘（Catastrophic Forgetting）——神经网络在学习新任务时，会覆盖之前任务学到的权重，导致旧技能严重退化。今天咱们就聊聊，怎么让大模型既能持续学习新知识，又不丢掉看家本领。一、问题根源：为什么模型会“忘记”？本质上，神经网络是高度参数化的函数拟合器。当你用新数据微调时，梯度下降会朝着最小化新任务损失的方向调整权重。但那些对旧任务重要、对新任务不敏感的权重，也会被无情地改动。没有机制保护这些权重，遗忘就发生了。举个例子，假设原来模型有个神经元专门识别“用户情绪关键词”，现在你只用保险理赔数据微调，这个神经元可能被重新分配到“事故类型分类”上，情绪识别能力就废了。# 伪代码示意：普通微调是如何破坏旧权重的forepochinrange(epochs):loss=compute_loss(new_data)# 只计算新数据损失gradients=compute_gradients(loss)model.update_weights(gradients)# 直接更新，无保护机制二、实战方案：给旧知识加“防写保护”1. 弹性权重固化（EWC）这方法的核心思想是：重要的权重变化要罚钱。具体来说，先评估每个参数对旧任务的重要性（用Fisher信息矩阵近似），然后在微调新任务时，对重要参数的改动施加惩罚。# 简化版EWC损失实现（实际要用对角Fisher）defewc_loss(current_params,old_params,importance,