Тест калібрування ймовірностей

Відповіді та пояснення з’являються під час виконання тесту.

1. Модель добре відкалібрована, якщо серед прогнозів, які вона позначає як 80% достовірних, відбувається подія:
   • Близько 80% часу
   • 100% часу
   • Близько 20% часу
   • Рівно раз
2. Як масштабування температури впливає на вихідні дані нейронної мережі?
   • Змінює прогнозований клас
   • Ділить логіти на вивчений скаляр перед softmax, регулюючи достовірність
   • Додає шум до навчальних міток
   • Перенавчає мережу з нуля
3. Що показує діаграма надійності?
   • Втрата навчання проти епохи
   • Розмір моделі проти точності
   • Прогнозована ймовірність проти спостережуваної частоти
   • Швидкість навчання в порівнянні з розміром партії
4. Очікувана помилка калібрування (ECE):
   • Топ-1 точності моделі
   • Кількість параметрів у моделі
   • Дисперсія градієнтів
   • Середньозважений розрив між достовірністю та точністю між бункерами
5. Сучасні глибокі нейронні мережі найчастіше описуються як:
   • Надто самовпевнений
   • Недовірливо
   • Ідеально відкалібрований за замовчуванням
   • Не вдалося вивести ймовірності
6. Чому високоточна модель може потребувати калібрування?
   • Точні моделі завжди мають нульову похибку калібрування
   • Точність і калібрування є відмінними властивостями
   • Калібрування має значення лише для регресії
   • Точність гарантує чесні ймовірності
7. On which data is temperature scaling typically fit in the guide’s calibration workflow?
   • The final test set using classification accuracy
   • Only the training labels without model outputs
   • A held-out validation set using negative log-likelihood
   • The model’s hidden weights using mean squared error
8. Why can temperature scaling improve calibration without changing top-1 accuracy?
   • It changes the model’s predicted class labels randomly
   • It retrains the feature extractor
   • It replaces every logit with the same value
   • Dividing logits by a positive scalar changes confidence but preserves their ordering