~$ tenggouwa
~ posts inspirations lab about

$ grep -l context posts/*.md

  • Tokenizer 与 Context Window:模型眼里的世界

    2026-05-31

    AI 系列第 10 篇。LLM 不读字符,它读 token。一篇文章在它眼里不是字符流,而是 token 流。这一篇讲 BPE 算法是怎么把文字切成 token 的、为什么 LLM 数不清 strawberry 的 r、以及 context window 从 2K 卷到 1M 的工程惊悚故事。

    ai tokenizer context bpe ai-series
© 2026 tenggouwa · made with caffeine ☕
RSS [ uptime: ∞ ]