Token 是模型真正处理的文本单位。它不是简单按“一个字”或“一个单词”来算，而是按模型词表把输入切成更适合计算的片段。
Tokenization Flow
模型会先切分，再编码，再进入后续注意力与生成过程。
动画演示
点击播放后，文本会被逐步切成 token。你看到的这些小块，才是模型做计数和处理时真正参考的单位。
原始输入
切分结果
