概率校准的数据隔离与分组验收

已有概率校准入门演示了“相近概率与实际频率”的对应关系。本节把这一概念变成可检查的数据划分和评测记录，适合已经拥有逐样本预测、可靠标签及独立评测集之后使用。

先看分组记录，再解释分数

二分类校准曲线将预测概率分组，以组内平均概率为横轴、真实正例比例为纵轴。每组样本数必须同时保存。Brier 等概率评分还受到区分能力和数据不确定性影响，分数更低不能单独证明校准更好。scikit-learn 校准指南

校准方法要使用没有参与对应基础模型拟合的预测数据；最终评测集继续独立保留。先看测试答案，再选择校准映射或分组规则，会让最终评测失去原本的检验作用。校准器的数据分工

练习一 相同准确率下核对三列数据

固定 10 条虚构记录，真实标签为 6 正、4 负。方案 A 全部给正例概率 0.9，方案 B 全部给 0.6，阈值均设为 0.5：

用 Java 数组实现计数、概率求和与正例计数，分别核对这几列，而不只输出一个总分。再增加空组输入，检查它不会进行除零运算，也不会被显示成有数据支持的 0% 或 100%。

这里 B 的概率与这份人工夹具的频率一致，不代表 B 在真实分布上已经校准。十条固定记录也不能替代独立评测。

练习二 在拟合前拦住数据交叉

为训练、校准和最终评测分别保存样本 ID 清单，以及已有的近重复家族 ID。先检查集合用途，再检查交集：

1. 基础模型拟合数据与本练习的校准拟合数据分离。
2. 最终评测数据不参与校准拟合，也不参与校准方案选择。
3. 同一近重复家族按既有分组规则隔离，不能只改样本 ID 就进入另一个集合。
4. 仅在校准集拟合映射，冻结后到同一份最终评测集比较前后结果。

对每个概率区间记录平均概率、正例比例和数量，并保留未覆盖区间。分组过细会留下小样本，过粗可能掩盖组内差异；不能只保留看起来最贴近对角线的分组方式。如果只有训练集预测而没有独立数据，先补数据分工，不给校准有效性结论。

交付记录与边界

提交基础模型和校准方法版本、正类定义、样本与家族划分、分组边界、决策阈值、逐组数量和前后准确率。校准改变概率的含义，决策阈值决定如何把分数转成动作，两者需要分开验收。

两项练习均为未运行设计。分布变化后需重新检查；分类器的概率不能直接等同于聊天模型一句“我有 90% 把握”，也不能替代 RAG 证据、权限或安全验收。

来源与版本

scikit-learn Probability calibration，原核查于 2026-10-25 12:07–12:08 JST，页面版本 1.9.1；本次于 2026-10-30 复核可靠性图、Brier 分解及独立校准数据段落，页面仍显示 1.9.1。独立发布日期未标明。