共形预测
保形预测包装任何模型以输出一个集合或区间，保证包含具有选定概率（例如 90%）的真实答案。
概述
It turns a single guess into a trustworthy range with a mathematical coverage promise.
深入探讨
大多数模型都会为您提供一个点预测或 Softmax 分数，看起来像置信度，但通常并非如此。共形预测解决了这个问题。您采用经过训练的模型，使用不合格度量（例如，误差或一减去预测概率）对每个示例的“奇怪”程度进行评分，并在保留的校准集上计算这些分数。为了预测新点，您需要包含不合格分数不低于校准分数大约第 90 个百分位数的每个标签。结果是一个预测集，可能是几个用于分类的标签或一个用于回归的区间。标题保证是无分配的：只要您的数据是可交换的，无论您使用哪种基础模型，该集合都以所选速率覆盖真实价值。
技术洞察
核心技巧是可交换性加上分位数。对于 n 个校准分数，阈值是这些分数的 (n+1)(1-alpha)/n 分位数的上限。由于新点的分数同样有可能落在校准分数中的任何排名，因此它超过阈值的概率至多为 alpha。该论证不需要对模型或数据分布进行假设，只需假设这些点可以按顺序互换。
战略影响
成本与预算
多年来，架构决策决定着性能和运营成本。
更清晰的判决
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
质量控制
更好的工程选择可以减少生产中的可靠性事故。
共形预测的未来
研究正在超越可交换性要求，转向时间序列和变化分布，使用在线调整阈值的自适应和加权共形方法。有条件的保险是一个主要的开放领域，它保证每个子群体的利率不变，而不仅仅是平均利率。随着监管机构越来越需要校准、可审计的不确定性而不是简单的预测，预计保形层将在法学硕士管道、医疗分诊工具和自主系统中使用。
现实世界的实施
当不确定时，皮肤病变分类器会返回集合{黑色素瘤，痣}，提示皮肤科医生进行审查，而不是单个过度自信的标签。
房价模型输出 31 万美元至 36.5 万美元的区间，保证在 90% 的买家谈判时间内包含销售价格。
LLM 问答系统会附加一小部分候选答案并提供覆盖率保证，将大量候选答案标记为需要人工审核的案例。
药物毒性筛选管道会发出预测区间，以便化学家知道哪些化合物具有可靠的窄估计值，哪些化合物具有不确定的估计值。
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实际负载和数据条件下进行基准测试。
仪器监控错误、漂移和用户影响。
在扩展之前准备回滚和事件响应路径。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Conformal Prediction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Conformal Prediction?
保形预测包装任何模型以输出一个集合或区间，保证包含具有选定概率（例如 90%）的真实答案。它将单个猜测转变为具有数学覆盖承诺的可信范围。
共形预测方法输出什么而不是单个标签？
保形预测返回一组（分类）或区间（回归），旨在以选定的比率（如 90%）包含真实值。
哪个假设支持标准保形覆盖保证？
该保证依赖于可交换性，这意味着重新排序积分后联合分配不会改变。它不需要对模型进行假设。
校准装置的作用是什么？
不合格分数是在保留的校准集上计算的，其分位数决定了新点要包含哪些标签。
如果您设置 alpha = 0.1，您的目标覆盖范围是多少？
覆盖率等于 1 减去 alpha，因此 alpha = 0.1 的目标是真实值的 90% 覆盖率。
当模型对输入非常不确定时，预测集通常会发生什么？
越难的输入会产生更多分数低于阈值的标签，因此较大的集合表示更大的不确定性。