先把词说清楚

也叫：Token / 词元

语言模型处理文本时使用的基本单位。一个单位可能对应一个字、一个词的一部分，也可能是表示消息边界的特殊标记；具体怎样划分由配套分词器决定。

也叫：Tokenizer / Tokenization / 分词

按照一套确定的词表和规则，把文本变成词元编号的程序。模型接收这些编号后才能继续计算；分词器还可能配合对话模板加入表示角色或边界的特殊标记。

也叫：模型参数 / 权重 / Parameters / Weights

模型中参与计算、通常由训练学得的数值。权重是其中一类，偏置也属于参数；它们共同决定输入怎样变成输出，而不是一条条可直接查询的知识记录。

也叫：Training / 模型训练

利用数据和既定目标来调整模型参数的过程。在常见神经网络中，程序先计算输出与目标之间的差距，再按更新规则反复调整，希望对新数据也有用。

也叫：Inference / 模型推理

用已经确定的模型参数处理输入，得到预测或生成内容的过程。在通常的部署推理中，参数保持不变；输入不同、生成时的抽样设置不同，输出仍可能变化。

也叫：Context / 上下文窗口 / Context window

模型在当前计算中能够利用的输入信息。文本生成时，通常包括系统要求、选入的历史消息、检索材料和已生成文本；能同时容纳的容量通常按词元数限制。

也叫：Vector / 数值向量

按固定顺序排列的一组数，可以表示一个对象的多个特征。每个位置是一维；比较两个向量前，要确认这些位置的含义、单位和生成方式能够对应。

也叫：Embedding / 嵌入 / 向量表示

把文字等对象转换为向量的表示方法，也常指转换后的向量。模型通过训练，让这些数值适合某种比较任务，例如从许多段落中找出与问题相关的材料。

也叫：Cosine similarity / cosine / 余弦

比较两个非零向量方向是否接近的数值，由点积除以两个向量的长度得到，取值在负一到一之间。只把向量乘以正数、保持方向不变时，余弦相似度不变。

也叫：Attention / 注意力机制 / QKV

模型按当前需要，给可读取的信息分配不同权重，再把这些信息的数值表示合在一起。常见实现用查询与键计算权重，用值参与汇总，属于模型内部的一种计算。

也叫：Temperature / 采样温度

生成时调整下一词元抽样概率集中程度的设置。对同一组分数，较低的正温度让概率更偏向高分候选，较高温度则让分布更平；是否生效取决于生成方式。

也叫：RAG / Retrieval-Augmented Generation / 检索增强生成

先从外部材料中检索有关内容，再让生成模型结合这些内容回答的做法。它把找到资料与组织答案连接起来，便于利用可更新的材料，无需把每次更新都训练进参数。

也叫：Citation / 来源引用 / 证据引用

在生成答案的具体说法旁标出依据，让读者能返回原文检查。有效引用需要对应真实来源、相关段落和所支持的结论，不能只给一个看起来权威的链接。

也叫：Hallucination / 模型幻觉

在需要事实或材料依据的任务中，常用来指模型生成与事实冲突、或超出给定材料支持的内容。句子可能读起来很顺，因此要把是否通顺、是否有依据和是否真实分开检查。

也叫：Fine-tuning / Fine tuning / 模型微调

在已经训练过的模型基础上，用新数据继续训练，使它更适合某类任务。可以更新全部参数，也可以只训练选定的一部分参数或附加模块，具体取决于方法。

也叫：Quantization / 模型量化 / 低比特量化

把模型权重或中间计算结果映射到较少的可选数值，通常用更少位数保存。这样能降低部分存储开销，但会引入近似，需要同时检查输出质量和实际速度。

也叫：KV Cache / Key-value cache / 键值缓存

自回归模型逐个生成词元时，保存之前算过的键和值，以便下一步重复使用。键和值是注意力计算中的两组表示；缓存减少重复计算，同时占用额外内存。

也叫：Base rate / 目标类别比例

在指定样本或场景中，目标类别本来占多大比例。它描述任务面对的人群或数据构成，而不是模型的识别能力；解释预测结果时，不能把这个比例忽略。

也叫：Precision / Recall / 精确率 / 召回率 / 查准率 / 查全率

先约定要找的目标类别。精确率看“判为目标的里面，有多少真的符合”；召回率看“实际符合的里面，有多少被找出”。两者分母不同，需要结合误报和漏报代价判断。

也叫：Data leakage / 训练测试泄漏

建模或选择方案时，用上了真实预测时不该得到的信息，例如测试集统计量、未来才产生的字段或重复出现的答案。这样评估可能显得很好，却不能代表面对新数据的能力。

也叫：Agent / 智能体 / LLM Agent

在语言模型应用中，围绕目标选择动作、读取执行结果，再决定下一步的软件系统。模型通常提出下一步，程序执行工具并维护状态，同时检查是否该结束。

也叫：Tool calling / Function calling / 函数调用 / 工具使用

模型按工具说明提出要调用的功能和参数，由应用程序检查并执行，再把结果交回模型的交互方式。它把生成文字与查询、计算等实际操作连接起来。

也叫：Prompt injection / 间接提示注入 / 直接提示注入

模型把不具备相应权限的输入内容当成指令，因而偏离任务或规则的风险。诱导文字可能来自直接请求，也可能藏在网页、文档和工具结果中，需要按来源区分权限。

也叫：Evaluation / Evals / 模型评测 / Agent 评测

用事先确定的样本、任务和评分规则，检查模型或整个系统能否满足要求的过程。既可检查答案，也可检查工具操作和最终状态，结果要连同测试条件一起理解。

也叫：threshold / 决策门槛

把连续分数变成行动的一条分界线。例如约定分数大于或等于 0.5 才进入优先队列。调整分界线改变选中哪些对象，不会改变模型已经给出的分数。

也叫：calibration / 可靠性图

把报出相近概率的预测放在一起，看事情实际发生的比例是否接近这些概率。它检查“八成把握”这类数字是否与观察相符，与最后分类答对多少题有区别。

也叫：confidence interval / Wilson interval

用固定的计算办法，把有限样本留下的估计不确定性表示成一段范围。样本来源、独立性和评分规则都需要说明，否则单独一个范围很容易被误读。

也叫：chunking / chunk / 父段落

把长文档分成便于检索和传入模型的小段。切在哪里，会决定规则的数字、条件和例外能否一起被找到，所以不能只检查每块字数是否整齐。

也叫：schema / JSON Schema

描述数据应该有哪些字段、字段是什么类型、允许哪些值。它帮助程序检查格式是否符合约定，但仅凭格式通常无法知道某位用户此刻能否执行某项业务。

也叫：streaming / 增量输出

结果分成小片段逐步送来，页面可以边收到边显示。接收方需要区分正在接收、异常中断和协议说明的完成状态，不能把屏幕暂时不再变化当成成功。

也叫：padding / padding mask / loss mask

把长短不同的记录补成相同长度，方便一起处理；再用与数据对齐的标记说明哪些位置是真实内容，哪些只是占位。

也叫：Precision@k / Recall@k / top-k

在固定排序里只看前 k 条：精确率问这 k 条里有多少相关，召回率问全部相关材料中找到了多少。两个数字的分母不同。

也叫：seed / random seed / 伪随机种子

随机种子用来初始化指定随机数生成器的状态。相同起点和相同取数方式，可以让这条随机过程按相同顺序重放。

也叫：epoch / 轮数

对固定的数据，按既定取数规则走完一轮，通常记为一个 epoch。它描述一轮的范围，不直接等于处理了多少批、更新了多少次参数。

也叫：micro F1 / macro F1 / weighted F1

micro 先合并各类计数，macro 先算各类 F1 再等份平均，weighted 按各类真实数量加权。

也叫：按组划分 / 分组切分 / group-wise validation / group-aware split

评估模型能否处理新对象时，把同一用户、设备或文档的记录作为一组，整组放进训练或验证的一边，避免同一个对象同时出现在两边。

也叫：按时间划分 / 时间顺序划分 / temporal split / time-ordered split

模拟用过去预测未来时，按记录发生的先后划分数据：较早的一段用于训练，较晚的一段用于验证或测试，而不是把所有日期随意打散。

也叫：learning rate / 训练步长 / eta

在常见的梯度更新中，程序先算出参数变化对目标的影响。学习率用来缩放本次调整的幅度，像控制步子大小的设置，不表示一轮读多少数据。

也叫：候选检索 / 初步检索 / candidate retrieval / candidate generation

检索流程里，先从全部资料中选出一批可能有用的候选，供后续排序和核对。这一步关心有没有把需要的资料找进来，并不保证每份候选都相关。

也叫：重新排序 / 重排序 / reranking / re-ranking

拿到一批候选资料后，再按与当前问题的相关程度重新安排顺序，让较合适的内容有机会排在前面。它处理的是已有候选，不是重新搜索整个资料库。

也叫：expert capacity / MoE capacity

在采用固定容量的混合专家层中，每位专家一次最多处理指定数量的输入。路由器想把多少输入送给它，与它最后能接收多少输入，是两个数量。

也叫：knowledge distillation / 软标签 / teacher student

让学生模型学习老师模型给出的输出分布，而不只学习一个最终类别。这个分布能保留老师对多个候选的相对倾向，也会带入老师的错误。

也叫：logit / logits / 模型原始分数

模型在转换为概率之前，为各个候选给出的数字。分数可以为负，也不要求相加为一；Softmax 等转换才把它们变成一组概率。

也叫：marginal coverage / 共形预测 / conformal prediction

预测区间或集合包含真实结果的比例，要对校准数据和新测试样本的随机性一起考虑。它描述整体层面的保证，不自动给每个输入或每个分组相同保证。

保留原来的输入，计算分支给出额外改动；分支没执行时，原输入仍可继续传下去。

老师给各个候选分别分配概率，让学生学到不止一个最终标签。

温度调高会让学生分数对软目标损失的影响变小；乘回 T² 是为了调整这部分更新的力度。

把校准样本与未来样本的位置交换后，整体随机规律保持相同；数据来自同一分布并独立采样是一个常见充分条件。

把校准数据和未来测试点的随机性一起平均，讨论真实值有多大比例被区间包住。

先看某类在新环境里变多还是变少，再用这个比例调整旧概率，最后让所有类别重新加起来等于 1。

人群比例虽然变了，但一旦知道属于哪一类，该类呈现各种线索的方式仍与以前一样。

从当前可见网页左上角起算的页面布局坐标；它不一定与图片文件中的像素一比一对应。

说明一对数字是从哪张图、哪一个原点和哪一种单位量出来的。

描述单位长度附近能累积多少概率；要对一个区间累积，才能得到事件概率。

同一段长度改用更细的数字单位表示后，每单位对应的概率密度要相应降低，才不会改变整段概率。

先把连续相同的逐帧符号合并，再移走特殊空白，让较长的帧序列变成最终标签。

不同逐帧走法可能读成同一个词，要把这些走法的概率都算到这个词名下。

几个查询头查同一份索引和资料，但各自保留自己的查询，因此仍可能关注不同位置。

明确规定每个查询头应该读取哪一组 K/V；形状相同也可能接错资料。

前向继续作离散选择，更新参数时则借用另一条较平滑函数的斜率。

这一项照常提供前向数值，但反向不沿它继续传递变化。

把每一步保留旧信号的系数依次相乘，记录从干净数据走到当前时刻一共保留多少。

同一份预测换成噪声、原数据或 v 的表达后，平方误差要乘不同的时刻系数。

每个查询词先在文档里找最像的一项，再把各查询词得到的分数相加。

明确告诉打分程序哪些只是凑齐长度的占位位置，不能参与挑选最大值或求和。

每张图先独立算一个分数，再给每张同样的份量。

在重叠量上另加一个小常数，会改变空标签时的得分与导数。

对所有可能抽样结果按概率求平均，恰好等于想估计的总体量。

决定多远的两点仍会得到较高相似度的尺度。

根据待存值到上下可表示数的距离，随机选择其中一个。

舍入后的数围绕平均值波动的程度。

一次选出一组候选后，某个候选至少出现一次的概率。

每次按剩余权重选择一项，移除它后继续，整条顺序的概率是条件概率连乘。

根据模型对正确类的把握程度，改变当前样本损失的系数。

前向照常算权重，但反向假定权重不再随参数变化。

低估与高估按不同单价收费的分段线性误差。

对同一组观测，能让平均 Pinball 损失同样最小的一整段预测值。

把多个分布在同一位置的密度，按各自权重加起来。

总波动由每组内部的波动，以及各组均值之间的差异共同组成。

把所有正比例、同方向的非零向量看成同一个比较对象。

直接到达的距离，不大于绕经第三点的两段距离之和。

也叫：label smoothing

把全给正确类的训练目标，改为给多个类别分配少量概率的目标。

也叫：logit margin / margin

正确类原始分数减去另一个类原始分数。

也叫：maximization bias

从多份有误差的估计里挑最高分，会偏向挑中向上估错的结果。

也叫：double estimator / B[argmax A]

用一份估计选动作，再用另一份估计给该动作打分。

也叫：baseline

用奖励减去一个参照水平，再将差额用于策略更新。

也叫：leave-one-out / RLOO

计算某个样本的参照水平时，排除它自己，只用同组其他样本。

也叫：positive set / P(i)

针对同一个查询或锚点，被标为有效匹配的全部候选。

也叫：false negative

训练把它当作不相关对照，但按实际任务它也应算有效匹配。

也叫：format annotation / Format-Annotation

说明一个值应该怎样理解，但这条说明本身未必参与拒绝输入。

也叫：format assertion / FormatChecker

把格式要求作为通过或失败的判断条件。

也叫：subschema validation / oneOf

同一份输入满足某一组完整规则，而不是只出现了一个相似字段。

也叫：mutually exclusive branches / const

规则设计成同一份输入不可能同时满足两种模式。

也叫：predictive entropy

先把成员的类别概率按权重平均，再计算平均分布有多分散。

也叫：mutual information / entropy gap

在指定混合模型中，知道选中哪个成员能增加多少关于类别的信息。

也叫：allOf / conjunction

同一份输入必须把每组规则都满足，任何一组拒绝都不能通过。

也叫：unevaluatedProperties

在适用规则完成检查后，尚未被相关属性注解覆盖的字段。

也叫：residual derivative

改变预测误差一点时，损失随之变化的速度。

也叫：parameter gradient

改变模型参数一点时，损失随之变化的方向与速度。

也叫：explained variance ratio

保留方向上的变化量，占全部方向变化量的比例。

也叫：projection collision

原本不同的点，降到低维后得到完全相同的坐标。

也叫：重复键 / duplicate member name

同一个 JSON 对象里，同一个解码后的字段名被写了不止一次。

Python JSON 解析器给你的一个入口，让你在字段对合并成字典前检查它们。

也叫：decoupled weight decay

按一定比例缩小参数时，单独算这一步，不把它当作任务梯度记进 Adam 的历史。

也叫：L2 penalty

把参数平方的惩罚加到目标函数里，让它的导数和任务梯度一起参与更新。

也叫：univariate mutual information

只告诉你某一列的值，平均能减少多少对标签的不确定性。

也叫：conditional entropy

某些信息已经知道之后，平均还剩多少不确定性。

也叫：log-odds / 二分类logit

先比较发生与不发生的概率比例，再对这个比例取自然对数。

也叫：probability pooling

把多个模型给出的类别概率，按预先约定的规则合成一份概率。

也叫：loss reduction / reduction

把一批逐样本损失，按求和或某种平均规则合成一个数。

也叫：sum of target class weights

逐个样本取出它真实类别对应的权重，再把这些权重相加。

也叫：IDCG / Ideal DCG

把当前候选按真实相关度排到最好时，在同一k和折扣下能得到的分数。

也叫：tie averaging

模型分数并列时，把组内各种允许顺序等权看待，计算评价的平均值。