AI 系列第 10 篇。LLM 不读字符,它读 token。一篇文章在它眼里不是字符流,而是 token 流。这一篇讲 BPE 算法是怎么把文字切成 token 的、为什么 LLM 数不清 strawberry 的 r、以及 context window 从 2K 卷到 1M 的工程惊悚故事。