分词：AI 眼里的句子

实验目的

了解分词和词元的含义，知道文字是怎样变成模型能处理的编号的。

实验原理

模型不能直接处理文字，要先按一定规则把文本切成词元（token）。一个词元可能是一个字、一个词，也可能是词的一部分。随后每个词元对应词表中的一个编号，模型后续的计算都基于这些编号。不同模型的词表和切分方式可能不同。

实验器材

• 输入句子的文本框
• 切分后的词元显示区
• 词元对应的编号
• 若干中文和英文句子
• 电脑或平板

实验步骤

1. 在输入框中输入一句中文，查看切分结果。
2. 观察哪些字或词被合成了一块，哪些被拆开。
3. 换成英文句子，对比切分方式有何不同。
4. 输入较长的句子或少见的词，看词元数量如何变化。
5. 记录你的发现，说说分词为什么是第一步。

实验现象与结论

一句话会被切成若干词元。常见的词通常切成较少的块，少见的词或组合可能被切成更多块；中文和英文的切分方式也不一样。结论：模型“看到”的不是整句话，而是一串词元编号，分词是文字进入模型的第一步。

常见问题

一个 token 就是一个汉字吗？

不一定。一个词元可能是一个字、一个词或词的一部分，具体取决于模型使用的词表。

为什么模型要先分词？

模型只能对数字做计算，分词并编号后，文字才能转成模型可以处理的形式。