2025-07-23 使用Bootstrap方法评估模型校准度的完整指南 使用Bootstrap方法评估模型校准度的完整指南 一、什么是模型校准度?模型校准度(Calibration)反映预测概率与实际发生概率的一致性。例如,当模型预测某事件概率为70%时,若实际发生频率确实接近70%,则说明模型校准良好。在医疗诊断、金融风控等领域,校准度差的模型可能导致严重决策错误。二、为什么选择Bootstrap方法?传统评估方法(如Hosmer-Lemeshow检验)存在分组主观、小样本失效等问题。Bootstrap通过有放回重抽样构建多个数据集,能够: - 估计校准曲线的置信区间 - 不依赖正态分布假设 - 适用于小样本场景三、Bootstrap评估校准度全流程步骤1:准备基础数据假设已有包含预测概率y_pred和真实标签y_true的数据集:python import numpy as np y_true = np.array([0, 1, 0, 1, 1, 0]) y_pred = np.array([0.2, 0.7, 0.3, 0.8, 0.6, 0.1])步骤2:定义校准度指标常用指标包括: - Brier Score:均方预测误差 python def brier_score(y_true,... 2025年07月23日 9 阅读 0 评论