开始前，会这些就够了
- 知道百分比怎样计算
遇到不熟悉的词，先看这 2 个解释
- 评测
- 用事先确定的样本、任务和评分规则，检查模型或整个系统能否满足要求的过程。既可检查答案，也可检查工具操作和最终状态，结果要连同测试条件一起理解。
- 置信区间
- 用固定的计算办法，把有限样本留下的估计不确定性表示成一段范围。样本来源、独立性和评分规则都需要说明，否则单独一个范围很容易被误读。
假设你做了一个把工单分到正确部门的助手。先试十张工单，分对九张；另一轮试一千张，分对九百张。两轮都能写“正确率90%”，但只报这个数字，会把证据有多少这件事藏起来。
十张里多错一张，结果就少十个百分点；一千张里多错一张，只少零点一个百分点。这还不能直接证明哪套系统更好，却提醒我们：百分比相同，估计的稳定程度可能很不同。
先数题，再谈能推广到哪里
样本就是你实际拿来评测的这一批工单。如果目标是描述这十张，九张正确已经是明确事实；如果目标变成“以后的同类工单大概也能答对多少”，你就在用有限观察推测更大的范围，需要说明抽样办法。
下面先假设各张工单可以近似独立地抽到，来自稳定的同类任务，每张只记对或错，评分规则也事先固定。连续复制同一张工单，并不等于获得许多独立证据；只挑最简单的类型，增加数量也补不回遗漏的困难类型。
给一个范围，比假装很精确更诚实
置信区间是一种表达抽样不确定性的办法。可以把它理解为：按一套固定规则，围绕本次观察画出一段范围。这里用 Wilson 方法计算名义95%的区间，让你直观看到题目数量改变后，范围怎样收紧。
95%描述的是反复抽样、反复按同样办法造区间时的覆盖表现，不是“这一次真实正确率有95%的概率落在里面”。Wilson 是近似方法，实际覆盖率会随样本量和真实比例变化；它也没有承诺下一批题一定落在区间内。
只改题目数量，观察范围
程序没有训练模型，而是代入四份虚构的答题记录。前三份正确率相同，但区间逐渐变窄。最后一份十题全对，区间下界仍明显低于100%：没有观察到错误，和证明不会出错，是两回事。
运行后先读分母，再读上下界。这个小实验把评分本身当作可靠的对错标签；如果人工判分有分歧，还要另记争议与复核结果。区间只处理这里设定的抽样波动，不会自动修复标注错误或题目选择偏差。
from math import sqrt
def wilson(correct, total):
z = 1.96
p = correct / total
denominator = 1 + z * z / total
center = (p + z * z / (2 * total)) / denominator
radius = z * sqrt(p * (1 - p) / total + z * z / (4 * total * total)) / denominator
return center - radius, center + radius
for correct, total in [(9, 10), (90, 100), (900, 1000), (10, 10)]:
low, high = wilson(correct, total)
print(f'{correct}/{total}: {low:.1%} .. {high:.1%}')怎样运行：保存为 sample_interval.py，用 Python 3.10 或更新版本运行：python sample_interval.py。仅用标准库，不联网。
运行后对照结果
9/10: 59.6% .. 98.2%
90/100: 82.6% .. 94.5%
900/1000: 88.0% .. 91.7%
10/10: 72.2% .. 100.0%把评测写成别人能检查的记录
一份有用的记录应写清：评了多少张、抽取哪些时间和类型、怎样判对错、哪些失败最常见。新用户工单和老用户工单可以分开看；否则总体九成可能盖住某一类几乎不会处理的问题。分组后也要同时显示各组数量。每次换模型版本时保留评测日期与版本，避免把不同条件下的数字混到一起。
读 NIST 的比例区间页面时，先对照代码找到样本量 n 和观察比例，再读其置信区间解释页。以后比较两个助手，尽量让它们回答同一批题并检查逐题差异；单看两个区间有没有重叠，不能替代正式的比较方法。
记住这三点
- 正确率要和样本数量、抽样范围、评分规则一起报告。
- 小样本全对仍留下不确定性；重复同一道题不能当作独立证据。
- 置信区间有统计假设，不能修复偏样本或保证下一批表现。
别把例子用过头
- 把十题全对写成以后永远全对，超出了观察能够支持的范围。
- 本文演示独立、同类、对错计分的近似区间；对相关样本、连续评分或变化中的线上任务，需要重新选择方法。
自己试一小步
怎样让一份“正确率90%”的展示变得可以审查？
- 自己列出一份二十条工单的抽样计划，包含至少两种难度。
- 设计表头，记录每类数量、评分方式和失败原因。
- 改变代码中的正确数与总数，观察全对和只错一题的区间。
做到这些，就算完成
- 是否写出样本来自哪里，而不只写百分比？
- 是否区分本批结果和对未来表现的推测？
- 是否解释了相关样本或偏样本为什么不能靠增加分母解决？
查原始资料
想确认一个细节，先看这份资料对应的部分，不必从头读完所有文档。
- NIST：比例的置信区间与 Wilson 方法 （新标签页）↗
Wilson 区间公式、有限样本的区间边界，以及小样本方法的限制。
- NIST：怎样理解置信区间 （新标签页）↗
置信水平针对重复抽样得到的区间覆盖率。
- SciPy：二项试验与比例估计 （新标签页）↗
成功次数、试验总数、观察比例与比例置信区间的区别。
找一份资料继续练
先选一项，按下面的范围继续学；不必从头读完整门课程。
NIST：给小样本正确率补上一段范围 （新标签页）↗
只读 Wilson 比例区间，把同样九成正确率放到不同题目数量下比较范围，再检查题目是否独立且有代表性。
查看学习准备与访问说明 →