ДалееСледующее руководство
Вероятность моделей по умолчанию
Технический
Техническое РУКОВОДСТВО
Калибровка означает, что заявленные вероятности модели соответствуют действительности: когда указано 70%, событие должно происходить примерно в 70% случаев.
Прослушайте это руководствоОзвучено ИИ · ~2 min
It matters because accurate confidence drives good decisions in medicine, finance, and risk-sensitive AI.
Модель может быть точной, но плохо откалиброванной. Современные глубокие сети печально известны своей чрезмерной самоуверенностью: 99% прогнозов оказываются верными гораздо реже. Калибровка проверяет это путем группирования прогнозов по достоверности и проверки наблюдаемой частоты в каждом сегменте. Диаграмма надежности отображает прогнозируемые и фактические данные; идеально откалиброванная модель сидит по диагонали. Ожидаемая ошибка калибровки (ECE) суммирует разницу как средневзвешенное значение по интервалам. Исправления бывают двух видов: апостериорные методы, такие как масштабирование Платта (подбор логистического преобразования), температурное масштабирование (деление логитов на изученный скаляр T) и изотоническая регрессия (подбор монотонного шага); и методы обучения, такие как сглаживание меток или правильные потери оценок. Калибровка и точность — это разные цели, и улучшение одной не обязательно улучшает другую.
Метеослужба гарантирует, что в дни прогноза с 30% дождя на самом деле дождь будет наблюдаться примерно в 30% случаев, что соответствует цели калибровки учебника.
Модель кредитного дефолта масштабируется по температуре, поэтому заявленный риск дефолта в 5% действительно соответствует историческому уровню дефолта в 5% при определении цены кредитов.
Сеть медицинской диагностики перекалибровывается с помощью изотонической регрессии, поэтому «высокая вероятность заболевания» отражает истинную заболеваемость до того, как врачи начнут действовать.
Стек восприятия беспилотного вождения калибрует достоверность обнаружения объектов, поэтому модуль планирования надлежащим образом доверяет 90%-ной оценке пешеходов.
По мере того как ИИ вступает в циклы с высокими ставками, калибровка переходит от второстепенной мысли к требованию. Работа расширяется в направлении калибровки достоверности большой языковой модели и вербализованной неопределенности, калибровки при сдвиге распределения и групповой калибровки, чтобы вероятности были справедливыми для всех подгрупп. Ожидайте метрики калибровки наряду с точностью в карточках моделей и нормативных аудитах, а также более тесную интеграцию с конформным прогнозированием и выборочным прогнозированием, чтобы системы могли надежно воздерживаться, когда их искренняя уверенность низка.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Калибровка означает, что заявленные вероятности модели соответствуют действительности: когда указано 70%, событие должно происходить примерно в 70% случаев. Это важно, потому что точная уверенность определяет правильные решения в медицине, финансах и чувствительном к риску искусственном интеллекте.
Масштабирование температуры делит логиты на одно изученное значение T и повторно применяет softmax, смягчая или усиливая вероятности без изменения argmax.
Диаграмма надежности сравнивает прогнозируемую достоверность с фактической частотой результатов; диагональ представляет собой идеальную калибровку.
Модель может хорошо ранжировать прогнозы (высокая точность), но при этом назначать несовпадающие значения вероятности, поэтому калибровку необходимо проверять отдельно.
The guide says the single temperature is fit on validation data to minimize negative log-likelihood.
A positive temperature rescales logits before softmax, adjusting confidence while preserving the argmax class.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Вероятность моделей по умолчанию
Технический