Тест, свързан с ръководство · Среден Ниво

Тест за дестилация на знания

Прилагайте разпределение на учителите, омекотени цели и оценка на учениците при дестилация, включително защо имитацията не гарантира точност на ниво учител.

Свързани ръководни пътекиДестилация на знания
Въпрос 1 на 8

In knowledge distillation, what is the student model trained to do?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. In knowledge distillation, what is the student model trained to do?
    • Да се обучи малък ученически модел да имитира голям учителски модел
    • За да направите модел по-голям и по-точен
    • За автоматично етикетиране на данни
    • За шифроване на теглата на модел
  2. Какво се разбира под „тъмните знания“ на учителя?
    • Скрито злонамерено поведение в модела
    • Шифрованата част от файла на модела
    • Информацията в относителните вероятности учителят присвоява на грешни класове
    • Данни, на които учителят никога не е бил обучаван
  3. Каква роля играе температурата (T) при дестилацията?
    • Той контролира само скоростта на обучение на модела
    • Той омекотява softmax, така че малките прилики между класовете стават научаваеми
    • Той задава броя на слоевете в ученика
    • Той измерва топлинната мощност на GPU
  4. Кои два компонента комбинира класическата загуба от дестилация?
    • Два отделни модела на награди
    • Средна квадратична грешка и загуба на шарнир
    • KL наказание срещу референтна политика и стойностна функция
    • Термин на KL-дивергенция, съответстващ на меките резултати на учителя плюс кръстосана ентропия на истинските етикети
  5. Кой е пример за дестилиран езиков модел?
    • ResNet-50
    • Word2Vec
    • DistilBERT
    • AlexNet
  6. Как се различава базираната на функции дестилация от класическия базиран на изход подход?
    • Той съответства на междинни представяния на скрит слой, а не само на крайни изходи
    • Игнорира изцяло учителя
    • Използва само твърди етикети
    • Обучава учителя вместо ученика
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names