THE GEO GLOSSARY
从 AI 基础到检索与引用，查找你想了解的概念。
模型根据当前表示计算信息之间的关联权重，并用这些权重组合其他位置的信息。Transformer 的缩放点积注意力常写为 softmax(QKᵀ/√dₖ)V。Q、K、V 是输入表示经可学习投影得到的查询、键和值矩阵，dₖ 为键向量维度，softmax 按查询行归一化。
模型单次处理可容纳的 token 上限。输入与输出如何占用额度由模型和接口确定；历史、工具结果和生成预算的分配也取决于实现。窗口标称大小不等于整段材料都能被同样有效使用。
把文本、图像或其他对象映射为数值向量的表示方法。向量空间中的距离或相似度可用于比较，但相似度的业务含义取决于模型、训练目标、输入和度量方式。
把输入表示与输出生成分为两个主要组件的架构：编码器处理输入，解码器依据表示逐步生成结果。也存在只使用编码器或只使用解码器的相关架构。
模型输出包含错误、虚构或缺乏可用依据的内容现象。判断时需明确参照对象：与现实事实不符、与提供的来源冲突，或在材料不足时擅自补充，可能是不同问题。
模型在训练中学习到的数值，例如权重与偏置，用于把输入转换为表示和输出。参数规模描述模型的一种容量特征，但不同结构、数据和训练方式会改变其实际表现。
向模型表示注入序列顺序信息的机制。注意力本身需要结合位置信息才能区分不同排列；原始 Transformer 使用了一种位置表示，后续模型还有其他设计。
采样过程中调节候选 token 概率分布的一种参数，常通过用温度缩放 logits 后再归一化实现。较高或较低通常改变选择的分散程度，具体支持范围取决于接口。
语言模型使用的离散处理单位，可以对应词、词的一部分、字符或其他编码片段。分词器决定如何切分，因此同一段文本在不同模型中的 token 数可能不同。
以注意力机制为关键组件的神经网络架构，2017 年的原始论文系统提出了相关设计。它通过表示、注意力和前馈变换处理序列，并结合位置信息。
选择内容、推广或测试服务，也可以先与 AI 顾问聊聊。
