大模型不读单词，只认 token

Ben Dicken 发了一段视频，标题是《Why does an LLM speak in tokens?》。画面左侧是两层神经网络，红色箭头标正向传播、白色箭头标反向传播；右侧，穿黑衣服的 Ben 在解释：大模型吃进的是 token，不是单词。

为什么不能直接拿单词喂模型？LLM 处理的是 embedding，人类说的是单词。词到向量之间，隔着一层 token。token 把句子切成模型能消化的最小单元，再映射成向量。

评论区有人总结得很到位。Guido 说：token 是汇率，单词换成 token，token 再换成 embedding，最后你按一种没人说的货币计费。这个比喻，比很多教程都清楚。

也有网友在评论里问，Transformer 原始论文《Attention Is All You Need》是不是理解 embedding 这一步的最佳方式，对新手是否友好。Ben 回复说，他还没读完，想之后做场直播。

有开发背景的读者会更关心 Sunil 的补充：服务端同样按 token 计费。上下文限制、KV cache 内存、吞吐量，全部和 token 挂钩。同一段文本，不同模型的 tokenizer（分词器）切出来的数量差异不小，第一次对比成本时容易感到意外。

下次看到 API 账单上的 token 数，大概能想到背后发生了什么。