← 返回知识卡片

AI 基础 · 示例卡片

AI 是怎么读懂一段话的?

模型处理文本的小单位

先了解一下

Token 可以是一个词、一个字,也可以是词的一部分。它帮助模型把语言转换成可以计算的信息。

记住这一点

同一句话,用不同语言表达时,Token 数量可能不同。