Викторина по дистилляции знаний

Ответы и пояснения появляются по мере прохождения теста.

1. In knowledge distillation, what is the student model trained to do?
   • Обучить маленькую модель ученика имитировать большую модель учителя.
   • Чтобы сделать модель крупнее и точнее
   • Автоматическая маркировка данных
   • Чтобы зашифровать веса модели
2. Что подразумевается под «темным знанием» учителя?
   • Скрытое вредоносное поведение в модели
   • Зашифрованная часть файла модели
   • Информация об относительных вероятностях, которые учитель распределяет не по тем классам.
   • Данные, которым учитель никогда не обучался
3. Какую роль играет температура (Т) при перегонке?
   • Он контролирует только скорость обучения модели.
   • Он смягчает softmax, поэтому небольшие межклассовые сходства становятся понятными.
   • Он устанавливает количество слоев в студенте
   • Он измеряет тепловую мощность графического процессора.
4. Какие две составляющие объединяют классические потери при перегонке?
   • Две отдельные модели вознаграждения
   • Среднеквадратическая ошибка и шарнирная потеря
   • Штраф KL против эталонной политики и функции ценности
   • Термин KL-дивергенции, соответствующий мягким результатам учителя плюс перекрестная энтропия на истинных метках.
5. Что является примером дистиллированной языковой модели?
   • РесНет-50
   • Word2Vec
   • ДистилБЕРТ
   • АлексНет
6. Чем дистилляция на основе признаков отличается от классического подхода, основанного на результатах?
   • Он соответствует промежуточным представлениям скрытого слоя, а не только окончательным результатам.
   • Он полностью игнорирует учителя
   • Он использует только жесткие метки
   • Он тренирует учителя, а не ученика
7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
   • A guarantee that either alternative is the correct label
   • The teacher’s complete original training corpus
   • The teacher’s exact number of hidden layers
   • Relative relationships among the teacher’s alternative class scores
8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
   • Assume its accuracy must equal the teacher’s
   • Measure its task accuracy and runtime on the intended system
   • Assume fewer parameters guarantee lower latency on every device
   • Only compare the models’ names