Test de tăiere structurată și eliminare a straturilor

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. De ce tăierea structurată produce accelerații reale, în timp ce tăierea nestructurată adesea nu?
   • Tăierea structurată îndepărtează blocurile coerente care, de fapt, micșorează tensorii
   • Tăierea nestructurată mărește dimensiunea modelului
   • Tăierea structurată adaugă mai multe straturi
   • Tăierea nestructurată funcționează numai pe procesoare
2. Ce este „scăderea stratului” în contextul transformatoarelor?
   • Reducerea ratei de învățare pe strat
   • Ștergerea blocurilor întregi de transformatoare pentru a reduce adâncimea modelului
   • Adăugarea abandonului la fiecare strat
   • Reordonarea straturilor în mod aleatoriu
3. Care semnal indică de obicei că un strat de transformator poate fi aruncat în siguranță?
   • Stratul are cei mai mulți parametri
   • Stratul este primul din rețea
   • Stările ascunse de intrare și ieșire ale stratului sunt foarte asemănătoare
   • Stratul utilizează cea mai mare memorie
4. Ce pas recuperează de obicei acuratețea după tăierea structurată?
   • Mărește doar dimensiunea lotului
   • Recuantificare la 16 biți
   • Adăugând mai multe capete de atenție
   • O scurtă rundă de reglaj fin sau distilare a cunoștințelor
5. Cum sunt adesea clasate capetele de atenție individuale pentru tăiere?
   • Prin creșterea pierderii atunci când capul este mascat (sensibilitate)
   • După ordine alfabetică
   • După poziţia lor în vocabular
   • După numărul de jetoane pe care le-au văzut
6. Care este o utilizare practică majoră a tăierii structurate combinată cu distilarea?
   • Generarea automată a datelor de antrenament
   • Obținerea unei familii de modele mai mici și mai rapide dintr-un punct de control mare
   • Criptarea greutăților modelului
   • Mărirea lungimii ferestrei de context
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping