Викторина, связанная с руководством · Средний Уровень

Викторина по калибровке вероятности

Проверяет определения калибровки, диаграммы надежности, ECE, температурное масштабирование и почему качество проверки отличается от точности классификации.

Связанные направляющие путиКалибровка вероятности
Вопрос 1 из 8

Модель хорошо откалибрована, если среди предсказаний, которые она помечает достоверностью 80%, происходит событие:

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Модель хорошо откалибрована, если среди предсказаний, которые она помечает достоверностью 80%, происходит событие:
    • Около 80% времени
    • 100% времени
    • Около 20% времени
    • Ровно один раз
  2. Что температурное масштабирование делает с выходными данными нейронной сети?
    • Изменяет прогнозируемый класс
    • Делит логиты на изученный скаляр перед softmax, корректируя достоверность.
    • Добавляет шум к обучающим меткам
    • Переобучает сеть с нуля
  3. Что показывает диаграмма надежности?
    • Потеря обучения в зависимости от эпохи
    • Размер модели и точность
    • Прогнозируемая вероятность в сравнении с наблюдаемой частотой
    • Скорость обучения в зависимости от размера партии
  4. Ожидаемые ошибки калибровки (ECE):
    • Точность модели топ-1
    • Количество параметров в модели
    • Дисперсия градиентов
    • Средневзвешенный разрыв между достоверностью и точностью по ячейкам
  5. Современные глубокие нейронные сети чаще всего описываются как:
    • Самоуверенный
    • Неуверенный в себе
    • Идеально откалиброван по умолчанию
    • Невозможно вывести вероятности
  6. Почему высокоточная модель может нуждаться в калибровке?
    • Точные модели всегда имеют нулевую ошибку калибровки.
    • Точность и калибровка — разные свойства.
    • Калибровка имеет значение только для регрессии
    • Точность гарантирует честные вероятности
  7. On which data is temperature scaling typically fit in the guide’s calibration workflow?
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. Why can temperature scaling improve calibration without changing top-1 accuracy?
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering