Token、上下文窗口与参数 —— 为什么模型会"忘事"、会数错字母

本课导读

这一课解释三个你使用 AI 时天天在打交道（却未必意识到）的概念：Token、上下文窗口、参数。学完之后，"为什么长对话它会忘了开头""为什么它连单词里有几个字母都数错""模型的 7B、70B 是什么意思"——这三个经典困惑将一次性解开。

Token：模型的"字"不是你的字

你以为模型逐字阅读，其实不是。文本进入模型前会先被切成一个个 Token——可以理解为"文字积木块"。一个 Token 可能是一个完整的词、半个词、一个汉字，甚至一个标点。

大致的量级感（不同模型的切法不同）：

• 英文：一个 Token 约等于 0.75 个单词，常见词是一整块，长词被切成几块（understanding 可能切成 under + standing）
• 中文：一个汉字约等于 1-2 个 Token
• 一篇千字中文文章 ≈ 1500-2000 个 Token

模型的整个世界都是 Token：它读的是 Token 序列，"猜下一个词"其实是猜下一个 Token，API 按 Token 计费，模型的"记忆容量"也按 Token 计算。

经典疑案："strawberry 里有几个 r？"

不少模型答错过这个小学生问题。原因现在你能看懂了：模型看到的不是 s-t-r-a-w-b-e-r-r-y 这串字母，而可能是 str + aw + berry 这样的几块积木。字母藏在积木内部，它从没"看见"过。这就像问你"你早餐吃的包子一共用了几粒面粉"——你吃的是包子，不是面粉粒。

上下文窗口：模型的"工作台"

模型没有记忆，它每次生成回答时，能看到的只有当前塞给它的全部内容——系统设定 + 你们的对话历史 + 你刚说的话。这个"一次能看到的最大 Token 量"就是上下文窗口（context window）。

类比：一张工作台。你和它对话的每一句都是放上台面的文件。台面很大（如今主流模型是几十万 Token，相当于几本书），但终究有边界。

两个直接推论：

1. 为什么长对话会"忘了开头"：对话太长超出台面时，最早的内容会被挪走（或压缩）。它不是"忘了"，是那部分根本不在它眼前了。
2. 为什么每次新对话它都不认识你：新对话 = 清空的工作台。上一次对话的内容不会自动出现在新台面上。有些产品显得"记得你"，那是产品在模型外面存了笔记、每次悄悄放回台面——又是"模型 vs 产品"的区别。

参数：模型的"体格"

上一课已经见过参数：网络里那些可调的旋钮（权重），模型的全部本事所在。这里补上量级感。

模型名字里的 7B、70B，B 是 Billion（十亿）——就是参数的个数。7B = 70 亿个旋钮。当今最强的模型据估计有数千亿到万亿级参数。

参数多意味着什么：

	参数少（如 7B）	参数多（如数千亿）
能力	简单任务够用	复杂推理、细腻表达
速度	快	相对慢
成本	便宜，笔记本可跑	昂贵，需要数据中心

所以行业的日常操作是按任务挑体格：简单分类用小模型省钱，复杂推理才请大模型出马。"越大越好"只在不计成本时成立——这也是各家都在出"大中小杯"的原因。

三个概念连起来用

一次真实的 API 调用里，三者同时在场：

你把一份 8 万 Token 的文档（Token）塞进一个 20 万窗口的模型（上下文窗口），选了 70B 的版本（参数），账单按输入+输出的 Token 数结算。

以后你评估任何模型，第一眼看的也是这几项：窗口多大？什么体格？Token 单价多少？——恭喜，你已经会看这个行业的"配置表"了。

随堂测验

随堂测验0 / 5 题正确

1. 关于 Token，正确的说法是？

AToken 就是一个字母BToken 是文本被切成的“积木块”，可能是词、半个词或一个汉字CToken 是模型的参数单位D一个 Token 固定等于一个汉字

2. 为什么模型可能数错“strawberry 里有几个 r”？

A它的训练数据里没有这个单词B它看到的是几块 Token 积木，字母藏在积木内部，它从未“看见”单个字母C它不认识英文D它故意开玩笑

3. 长对话进行到后面，模型“忘了”你开头说的话，最可能的原因是？

A模型的参数被重置了B对话超出上下文窗口，最早的内容已不在它眼前C模型对你失去了兴趣D你的网络连接不稳定

4. 模型名里的“7B”指什么？

A第 7 个测试版本B70 亿个参数（可调节的权重）C上下文窗口 70 亿 TokenD训练用了 7 台服务器

5. 模型“知道李白是唐代诗人”和“知道你叫什么名字”，来源分别是？

A都来自训练数据B都来自上下文窗口C前者来自训练数据（长期知识），后者来自本次对话的上下文（工作记忆）D前者来自上下文，后者来自训练数据

本课小结

• Token 是模型世界的积木：阅读、生成、计费、记忆全按它算；看不清字符是天生短板
• 上下文窗口 = 有边界的工作台：超出即"遗忘"，新对话即清台；它是工作记忆，训练数据才是长期知识
• 参数 = 体格：7B/70B 说的是旋钮数量，按任务挑体格是行业日常

下一课直面那个最让人不安的问题：它为什么会一本正经地胡说八道——以及你该信它几分。