LLM 架构
词元（Token）
Token
语言模型使用的离散处理单位，可以对应词、词的一部分、字符或其他编码片段。分词器决定如何切分，因此同一段文本在不同模型中的 token 数可能不同。
举个例子
中文句子、代码路径和英文产品名混在一起时，字符数与 token 数不会一一对应。计算输入预算应使用相应分词工具或实际接口返回的数据。
与 GEO 的关系
理解 token 有助于检查长输入、输出限制与成本。内容编辑仍应以语义完整为先，保留型号、单位和例外条件，避免为了短而删去决定性事实。
适用边界
固定字数无法准确代替所有模型的 token 预算。回答被截断时应标记不完整，不能把截断前没有出现品牌简单计为完整回答中的缺席。
参考资料
© 2026 NiubiGEO。原创文章与图示未经书面授权禁止转载、复制、改编或用于商业发布，法律另有规定或另有授权的除外。第三方资料的权利归其权利人所有。本声明不改变开源软件许可证。