概述
It turns a single guess into a trustworthy range with a mathematical coverage promise.
深入探讨
大多数模型都会为您提供一个点预测或 Softmax 分数，看起来像置信度，但通常并非如此。共形预测解决了这个问题。您采用经过训练的模型，使用不合格度量（例如，误差或一减去预测概率）对每个示例的“奇怪”程度进行评分，并在保留的校准集上计算这些分数。为了预测新点，您需要包含不合格分数不低于校准分数大约第 90 个百分位数的每个标签。结果是一个预测集，可能是几个用于分类的标签或一个用于回归的区间。标题保证是无分配的：只要您的数据是可交换的，无论您使用哪种基础模型，该集合都以所选速率覆盖真实价值。
现实世界的实施
当不确定时，皮肤病变分类器会返回集合{黑色素瘤，痣}，提示皮肤科医生进行审查，而不是单个过度自信的标签。
房价模型输出 31 万美元至 36.5 万美元的区间，保证在 90% 的买家谈判时间内包含销售价格。
LLM 问答系统会附加一小部分候选答案并提供覆盖率保证，将大量候选答案标记为需要人工审核的案例。
药物毒性筛选管道会发出预测区间，以便化学家知道哪些化合物具有可靠的窄估计值，哪些化合物具有不确定的估计值。
共形预测的未来
研究正在超越可交换性要求，转向时间序列和变化分布，使用在线调整阈值的自适应和加权共形方法。有条件的保险是一个主要的开放领域，它保证每个子群体的利率不变，而不仅仅是平均利率。随着监管机构越来越需要校准、可审计的不确定性而不是简单的预测，预计保形层将在法学硕士管道、医疗分诊工具和自主系统中使用。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
What is Conformal Prediction?
保形预测包装任何模型以输出一个集合或区间，保证包含具有选定概率（例如 90%）的真实答案。它将单个猜测转变为具有数学覆盖承诺的可信范围。
共形预测方法输出什么而不是单个标签？
保形预测返回一组（分类）或区间（回归），旨在以选定的比率（如 90%）包含真实值。
哪个假设支持标准保形覆盖保证？
该保证依赖于可交换性，这意味着重新排序积分后联合分配不会改变。它不需要对模型进行假设。
校准装置的作用是什么？
不合格分数是在保留的校准集上计算的，其分位数决定了新点要包含哪些标签。
如果您设置 alpha = 0.1，您的目标覆盖范围是多少？
覆盖率等于 1 减去 alpha，因此 alpha = 0.1 的目标是真实值的 90% 覆盖率。
当模型对输入非常不确定时，预测集通常会发生什么？
越难的输入会产生更多分数低于阈值的标签，因此较大的集合表示更大的不确定性。