第2章 LLM发展历程

第2章 LLM发展历程 —— 一部炼丹进化史先说这一章的两个大板块GPT 系列的演化2.1节从 GPT-1 到 ChatGPTOpenAI 是怎么一步步炼出来的全球主流 LLM 体系2.2节除了 GPT世界上还有哪些大模型家族第一幕GPT-12018年—— “开山鼻祖”它干了什么GPT-1 是 OpenAI 的第一个生成式预训练语言模型。论文标题叫《Improving Language Understanding by Generative Pre-Training》。核心贡献验证了一个训练范式“预训练 微调”两阶段训练预训练阶段让模型在海量英文小说BooksCorpus约7000本书上自学学的任务就是给你一句话的前半截你猜后半截Next-Token Prediction。这就像让一个孩子读了7000本书虽然没考试但他已经对语言有了基本感觉。微调阶段在预训练好的模型上加一个考试用的脑袋Task Classifier然后在少量标注数据上做针对性训练。这就像孩子读完书后做几套真题马上就能参加各种考试了。关键参数参数数值层数12层参数量1.17亿一句话总结GPT-1 的意义不在性能而在范式——它证明了先海量自学再少量特训这条路走得通后面的 GPT 系列全照着这个路子来的。它的局限参数太少才1亿能力有限生成的文本长度短质量一般。打个比方相当于一个小学生虽然各科都及格了但离学霸还远着呢。第二幕GPT-22019年—— “规模效应初显”它干了什么GPT-2 是 GPT-1 的升级版论文标题叫《Language Models are Unsupervised Multitask Learners》语言模型是无监督的多任务学习者。两个核心突破1. 规模暴增参数从1.17亿直接飙到15.42亿涨了10倍多参数GPT-1GPT-2参数量1.17亿15.42亿层数1248隐藏维度76816002. 零样本能力Zero-Shot首次出现这是 GPT-2 最炸裂的地方不用微调直接给任务提示就能干活比如你想让它翻译直接说把这句话翻译成法语Hello World它就能给你翻译。不需要为翻译任务专门训练。打个比方GPT-1 是读完书 → 做几套真题 → 才能考试GPT-2 是读完书 → 直接裸考居然也能答对不少3. 规模效应Scaling Effect被发现GPT-2 的实验揭示了一个重要规律模型越大、数据越多性能就越好。这个发现直接影响了后面 GPT-3 的发展方向——“那就往死里加参数和数据”架构改进引入了Pre-LayerNorm前置归一化解决大模型训练中梯度不稳定的问题一句话总结GPT-2 证明了两件事规模就是力量Scaling Law以及语言模型不需要专门训练就能干多任务Zero-Shot。相当于这个孩子不光读书多了而且不用补课就能直接参加各种考试了。第三幕GPT-32020年—— “暴力美学的巅峰”它干了什么GPT-3 直接把参数量拉到了1750亿比 GPT-2 又翻了100倍参数GPT-2GPT-3参数量15.42亿1750亿层数4896隐藏维度160012288核心创新上下文学习In-Context Learning这是 GPT-3 最关键的贡献。什么叫上下文学习就是你不需要训练模型只需要在输入里给几个例子模型就能照葫芦画瓢完成任务。比如你想让它做情感分类输入这本书太好看了 → 输出正面 输入这电影无聊透了 → 输出负面 输入今天天气不错 → 输出模型会猜正面只需要你在输入里放两个例子不用改任何模型参数它就能举一反三。打个比方GPT-2 是裸考能答对一些GPT-3 是你给它看两道例题它就能把同类型的题全做了——这就是少样本学习Few-Shot架构改进GPT-3 在 Transformer Block 中交替使用稠密注意力和局部带状稀疏注意力稠密注意力每个 token 都看所有其他 token全局信息但计算量大局部带状稀疏注意力每个 token 只看附近窗口内的 token省计算但丢失全局信息交替使用既有全局视野又不会算得太慢训练数据约570GB文本3000亿 token用数千块 NVIDIA V100 GPU 训练了好几周。一句话总结GPT-3 用暴力规模证明了一个道理只要模型够大、数据够多它就能展现出惊人的涌现能力。不需要针对每个任务单独训练只要在提示里给几个例子就行。这就是大力出奇迹的典型代表。第四幕InstructGPT2022年初—— “从学霸到好学生”为什么需要它GPT-3 虽然能力强但有个大问题它不听话。你问它一个问题它的回答可能答非所问编造事实幻觉说出有害的话为什么因为 GPT-3 的训练目标只是预测下一个词它学到的是语言的统计规律而不是如何理解人类的指令。打个比方GPT-3 是一个读了一万本书的学霸知识很丰富但你让他帮你干活他可能答非所问、不懂人情世故。InstructGPT 就是给他做了情商培训。核心创新RLHF 三阶段训练这是整个教材最重要的概念之一务必理解第一阶段监督微调SFT收集人工标注的指令-回答数据在这些数据上微调 GPT-3结果模型初步学会了听懂人话第二阶段奖励模型Reward Model用 SFT 后的模型对同一条指令生成多个候选回答人工标注者根据质量、相关性、有用性等维度对这些回答排名用排名数据训练一个打分器奖励模型它能给任意回答打一个偏好分结果有了一个AI裁判能判断回答好不好第三阶段强化学习RLHF模型生成回答 → 奖励模型打分 → 模型根据分数调整参数用的是 PPO近端策略优化算法目标让模型越来越倾向于生成高分回答结果模型学会了什么回答是人类喜欢的打个比方SFT请了个家教教它标准答案长什么样奖励模型请了个裁判能判断答案好坏RLHF让模型不断练习裁判不断打分模型根据分数调整自己的回答方式一句话总结InstructGPT 的创新不在架构而在训练范式——通过人类反馈强化学习RLHF“让模型从能说会道但不听话变成了既聪明又听话”。第五幕ChatGPT2022年11月—— “改变世界的那一天”它是什么ChatGPT 是 InstructGPT 的兄弟模型技术路线完全一样也是 RLHF核心区别在于数据格式从单轮问答变成了多轮对话。InstructGPT 的数据你问一句它答一句结束了。ChatGPT 的数据模拟真实的对话场景有来有回有上下文连贯。它能干什么连贯对话能记住你前面说了什么承认错误你说它错了它会说对不起我搞错了质疑前提你问太阳从西边出来了吗它会纠正你拒绝不当请求你让它写违法内容它会拒绝为什么它炸了ChatGPT 发布5天用户破100万两个月用户破1亿。原因很简单它第一次让普通人感受到了AI 真的能像人一样聊天。之前的 GPT-3 虽然厉害但你需要精心设计 prompt 才能用好。ChatGPT 不需要你就像跟朋友聊天一样直接说就行。第2.1节总结GPT 系列的三阶段训练范式整个 GPT 系列的发展最终沉淀出了大模型训练的标准三阶段第一阶段预训练Pre-training → 海量文本自学获得通用语言能力 第二阶段监督微调SFT → 用人工标注的指令数据特训学会听懂人话 第三阶段对齐Alignment → 用人类偏好调整模型行为做到说人话、说好话这个三阶段范式现在已经是整个行业的标准不只是 OpenAI国内的 DeepSeek、Qwen、GLM 全是照着这个路子来的。2.2节全球主流 LLM 体系一览主流玩家模型公司开源一句话GPT 系列OpenAI闭源大模型鼻祖只通过 API 卖服务Gemini 系列Google核心闭源部分开源GemmaGoogle 的多模态大模型Claude 系列Anthropic闭源安全性最强的大模型之一Grok 系列xAI部分开源马斯克搞的风格比较野DeepSeek 系列DeepSeek开源国产之光开源界的扛把子Qwen 系列阿里巴巴开源阿里通义千问生态很全KimiMoonshot AI闭源国产长文本处理很强GLM 系列智谱 AI部分开源国内最早的大模型之一MiniMax 系列MiniMax开源多模态方面有特色常用评测榜单LMArenalmarena.ai用户投票排名谁回答好就投谁非常直观司南OpenCompassopencompass.org.cn国内的评测体系更全面开源 vs 闭源有啥区别闭源如 GPT你看不到模型代码和参数只能通过 API 调用花钱用开源如 DeepSeek、Qwen代码和模型权重都公开你可以下载到自己电脑上跑开源的好处免费、可定制、可本地部署、数据隐私有保障。全章一句话总结GPT 系列从1亿参数发展到1750亿从预训练微调进化到预训练微调对齐最终催生了 ChatGPT。这条技术路线已成为行业标准国内外各大厂商都在跟进。