Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący destylacji wiedzy

Zastosuj rozkłady nauczycieli, miękkie cele i ocenę uczniów w destylacji, w tym dlaczego naśladownictwo nie gwarantuje dokładności na poziomie nauczyciela.

Powiązane ścieżki prowadząceDestylacja wiedzy
Pytanie 1 z 8

In knowledge distillation, what is the student model trained to do?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. In knowledge distillation, what is the student model trained to do?
    • Wytrenowanie modelu małego ucznia, aby naśladował model dużego nauczyciela
    • Aby model był większy i dokładniejszy
    • Aby automatycznie oznaczyć dane etykietami
    • Aby zaszyfrować wagi modelu
  2. Co należy rozumieć przez „ciemną wiedzę” nauczyciela?
    • Ukryte złośliwe zachowanie w modelu
    • Zaszyfrowana część pliku modelu
    • Informacje dotyczące względnych prawdopodobieństw, które nauczyciel przypisuje złym klasom
    • Dane, w zakresie których nauczyciel nigdy nie był szkolony
  3. Jaką rolę odgrywa temperatura (T) w destylacji?
    • Kontroluje tylko prędkość treningową modelu
    • Zmiękcza softmax, dzięki czemu można się nauczyć małych podobieństw między klasami
    • Ustawia liczbę warstw w uczniu
    • Mierzy moc cieplną procesora graficznego
  4. Które dwa składniki łączy klasyczna strata destylacyjna?
    • Dwa oddzielne modele nagród
    • Błąd średniokwadratowy i utrata zawiasu
    • Kara KL za politykę referencyjną i funkcję wartości
    • Termin rozbieżności KL pasujący do miękkich wyników nauczyciela plus entropia krzyżowa na prawdziwych etykietach
  5. Który jest przykładem destylowanego modelu języka?
    • ResNet-50
    • Word2Vec
    • DestylBERT
    • AlexNet
  6. Czym destylacja oparta na cechach różni się od klasycznego podejścia opartego na wynikach?
    • Dopasowuje pośrednie reprezentacje warstw ukrytych, a nie tylko końcowe wyniki
    • Całkowicie ignoruje nauczyciela
    • Używa tylko twardych etykiet
    • Kształci nauczyciela, a nie ucznia
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names