LLM 架构

词元(Token)

Token

语言模型使用的离散处理单位,可以对应词、词的一部分、字符或其他编码片段。分词器决定如何切分,因此同一段文本在不同模型中的 token 数可能不同。

用一个例子理解

中文句子、代码路径和英文产品名混在一起时,字符数与 token 数不会一一对应。计算输入预算应使用相应分词工具或实际接口返回的数据。

它与你的 GEO 有什么关系

理解 token 有助于检查长输入、输出限制与成本。内容编辑仍应以语义完整为先,保留型号、单位和例外条件,避免为了短而删去决定性事实。

适用边界

固定字数无法准确代替所有模型的 token 预算。回答被截断时应标记不完整,不能把截断前没有出现品牌简单计为完整回答中的缺席。

继续深入

核查来源

← 返回术语表

定制人工测试

告诉我们你的需求,先确认服务范围与安排。

提交咨询不扣积分。我们会确认服务范围、费用和排期,再协助你办理购买。也可联系 [email protected]