Викторина, связанная с руководством · Средний Уровень
Викторина по калибровке вероятности
Проверяет определения калибровки, диаграммы надежности, ECE, температурное масштабирование и почему качество проверки отличается от точности классификации.
Вопрос 1 из 8
Модель хорошо откалибрована, если среди предсказаний, которые она помечает достоверностью 80%, происходит событие:
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Модель хорошо откалибрована, если среди предсказаний, которые она помечает достоверностью 80%, происходит событие:
- Около 80% времени
- 100% времени
- Около 20% времени
- Ровно один раз
- Что температурное масштабирование делает с выходными данными нейронной сети?
- Изменяет прогнозируемый класс
- Делит логиты на изученный скаляр перед softmax, корректируя достоверность.
- Добавляет шум к обучающим меткам
- Переобучает сеть с нуля
- Что показывает диаграмма надежности?
- Потеря обучения в зависимости от эпохи
- Размер модели и точность
- Прогнозируемая вероятность в сравнении с наблюдаемой частотой
- Скорость обучения в зависимости от размера партии
- Ожидаемые ошибки калибровки (ECE):
- Точность модели топ-1
- Количество параметров в модели
- Дисперсия градиентов
- Средневзвешенный разрыв между достоверностью и точностью по ячейкам
- Современные глубокие нейронные сети чаще всего описываются как:
- Самоуверенный
- Неуверенный в себе
- Идеально откалиброван по умолчанию
- Невозможно вывести вероятности
- Почему высокоточная модель может нуждаться в калибровке?
- Точные модели всегда имеют нулевую ошибку калибровки.
- Точность и калибровка — разные свойства.
- Калибровка имеет значение только для регрессии
- Точность гарантирует честные вероятности
- On which data is temperature scaling typically fit in the guide’s calibration workflow?
- The final test set using classification accuracy
- Only the training labels without model outputs
- A held-out validation set using negative log-likelihood
- The model’s hidden weights using mean squared error
- Why can temperature scaling improve calibration without changing top-1 accuracy?
- It changes the model’s predicted class labels randomly
- It retrains the feature extractor
- It replaces every logit with the same value
- Dividing logits by a positive scalar changes confidence but preserves their ordering