大模型是怎么炼成的 —— 预训练 / SFT / RLHF 三部曲

本课导读

上一课看懂了"训练"的内部机制，这一课看一场真实的大工程：一个像 ChatGPT 这样的助手，是分几步被炼出来的。学完本课，你能讲清预训练、SFT、RLHF 各自干什么，还能澄清一个几乎人人都有的误解——"我纠正它，它就学会了"。

Andrej Karpathy《Intro to Large Language Models》（1 小时完整讲座）

▶播放（60 分钟）

全景：三部曲

把大模型的炼成想象成培养一位客服顾问：

步骤	干什么	类比	成本
① 预训练	读遍海量文本，学"猜下一个词"	把图书馆的书全读完	极高（数月、数千万美元级）
② SFT 监督微调	看大量优质问答示范	入职培训	低得多
③ RLHF 人类反馈强化学习	按人类偏好打磨回答风格	试用期的绩效反馈	低得多

三步的产出分别是：博学但不听话的基座模型 → 会好好对话的助手模型 → 回答更合人意的上线版本。逐个拆开看。

第一步：预训练 —— 读遍互联网，玩一个游戏

预训练只做一件事：给模型看一段文字，让它猜下一个词，猜错了就按上一课的方法调整权重（损失衡量"猜得准不准"，梯度下降负责调旋钮）。把这个游戏在几乎整个公开互联网的文本上重复几万亿次。

神奇之处在于：为了把这个游戏玩好，模型被迫学会了几乎一切。

• 要接得上"água 是葡萄牙语中的……"，就得懂语言
• 要接得上"水的沸点是……"，就得存知识
• 要接得上"因为下雨了，所以比赛……"，就得会推理

预训练完成后得到的叫基座模型（base model）。它非常博学，但有个大问题：它只会接话茬，不会当助手。你问它"怎么煮溏心蛋？"，它可能接"这是很多人好奇的问题。类似的问题还有：怎么煎牛排？怎么烤面包？"——因为在互联网文本里，一个问题后面跟着更多问题，太常见了。它在忠实地模仿见过的文本，没有"要回答你"的概念。

类比：一个把图书馆读穿了的人，知识渊博，但从没上过班，不知道"有人找你说话时该干嘛"。

第二步：SFT —— 教它"好好说话"

SFT（Supervised Fine-Tuning，监督微调）解决"不听话"的问题：人类写出几万条优质对话示范——"用户这样问，助手应该这样答"——让基座模型照着学（训练方法还是老一套：猜下一个词 + 调权重，只是教材从互联网换成了精选示范）。

这一步之后，模型"开窍"了：明白了自己的角色是回答问题的助手，而不是文本续写机。类比里的入职培训——知识没变多，但知道怎么上班了。

第三步：RLHF —— 用人类的偏好打磨

SFT 之后模型已经能好好对话了，但"好回答"的标准很微妙：两个都正确的回答，一个啰嗦一个清晰；一个危险问题，是照答还是婉拒。这些很难靠"写示范"教全。

RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）的思路：让模型对同一个问题生成多个回答，人类标注员给这些回答排序（哪个更好），再用这些排序训练模型"往人类更喜欢的方向靠"。像试用期里主管不断给你反馈："这样处理客户更好，那样容易惹麻烦。"

这一步塑造的是模型的"性格"：有帮助、诚实、无害的倾向，礼貌的语气，对危险请求的拒绝——你和 AI 对话时感受到的"教养"，大多来自这里。

最重要的澄清：训练 vs 推理

现在你知道了模型是训练出来的。而你日常使用它的时刻，叫推理（inference）——模型只是在用已经调好的权重做"猜下一个词"，权重完全不变。

这戳破一个极常见的误解：

"我在对话里纠正了它，它说'明白了'，所以它学会了，下次不会再错。"

错。它的"明白了"只在本次对话的上下文里有效（下一课讲上下文），对话结束就烟消云散。模型的权重在训练结束那一刻就冻结了——你用它时，它不在学习。真要让它"长记性"，得等下一轮训练（或产品在模型外面做记忆功能——又是"模型 vs 产品"的区别）。

随堂测验

随堂测验0 / 5 题正确

1. 预训练阶段，模型唯一在做的事是什么？

A背诵人类写好的问答示范B在海量文本上反复玩“猜下一个词”，猜错就调整权重C和人类标注员对话D学习拒绝危险请求

2. 预训练后的“基座模型”有什么典型问题？

A知识量太少B只会接话茬续写文本，不会以助手身份回答问题C只能处理英文D运行速度太慢

3. SFT（监督微调）这一步的作用，用类比说是？

A把图书馆的书再读一遍B入职培训：教会它“别人提问时，你的角色是回答”C试用期绩效反馈：打磨回答的风格分寸D给它接上外部数据库

4. RLHF 中，人类标注员主要在做什么？

A替模型写好每一个回答B给模型对同一问题的多个回答排序，训练它向人类偏好靠拢C检查训练数据有没有错别字D给模型增加新的知识

5. 你在对话中纠正了模型的一个错误，它回复“明白了”。下面哪个说法正确？

A它的权重已经更新，以后所有用户都会得到正确答案B它记住了这个教训，明天问它也不会错C这个“明白”只在本次对话的上下文内有效，模型权重没有任何变化D纠正会自动进入下一轮训练数据

延伸阅读（可选，跳过不影响主线）

• Andrej Karpathy《Deep Dive into LLMs like ChatGPT》（3.5 小时，英文）——上方讲座的 2025 加长版，覆盖更新的训练细节；等你学到阶段 3 再回来看会全懂。

本课小结

• 三部曲：预训练（读遍互联网学猜词 → 基座模型）→ SFT（示范教学 → 会当助手）→ RLHF（偏好排序 → 更合人意）
• ChatGPT 的引爆点不是能力突变，而是后两步让能力变得好用
• 训练调权重，推理用权重：你使用它时，它不在学习——对话里的"改正"出了对话就归零