Вікторина, пов’язана з посібником · Середній Рівень

Вікторина «Дистиляція знань».

Застосовуйте розподіл вчителів, пом’якшені цілі та оцінювання учнів у дистиляції, зокрема, чому імітація не гарантує точності на рівні вчителя.

Пов'язані напрямні шляхиДистиляція знань
Питання 1 з 8

Що робити модель студента під час дистиляції знань?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що робити модель студента під час дистиляції знань?
    • Тренувати маленьку модель учня наслідувати велику модель вчителя
    • Зробити модель більшою та точнішою
    • Для автоматичного позначення даних
    • Щоб зашифрувати вагові коефіцієнти моделі
  2. Що мається на увазі під «темними знаннями» вчителя?
    • Прихована шкідлива поведінка в моделі
    • Зашифрована частина файлу моделі
    • Інформацію про відносні ймовірності вчитель призначає неправильним класам
    • Дані, на яких вчитель ніколи не навчався
  3. Яку роль відіграє температура (Т) у дистиляції?
    • Він контролює лише швидкість навчання моделі
    • Це пом’якшує softmax, тому невеликі подібності між класами стають доступними для вивчення
    • Він задає кількість шарів учня
    • Він вимірює тепловіддачу GPU
  4. Які два компоненти поєднують класичні втрати від дистиляції?
    • Дві окремі моделі винагород
    • Середньоквадратична помилка та шарнірні втрати
    • Покарання KL щодо еталонної політики та функції значення
    • Терм KL-дивергенції, що відповідає м’яким виходам викладача плюс крос-ентропія на справжніх мітках
  5. Що є прикладом дистильованої моделі мови?
    • ResNet-50
    • Word2Vec
    • DistilBERT
    • AlexNet
  6. Чим дистиляція на основі ознак відрізняється від класичного підходу на основі результатів?
    • Він відповідає проміжним представленням прихованого шару, а не лише кінцевим результатам
    • Це повністю ігнорує вчителя
    • Він використовує лише жорсткі мітки
    • Це навчає вчителя замість учня
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names