Test legat de ghid · Mediu Nivel

Test de reglare a prefixelor

Assess prefix tuning’s frozen-backbone approach, per-task parameter savings, attention-layer placement, and results on natural-language generation tasks.

Căi de ghidare aferenteAjustare prefix
Întrebare 1 de 8

Ce antrenează de fapt acordarea prefixelor?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce antrenează de fapt acordarea prefixelor?
    • Toate greutățile transformatorului modelului
    • Doar stratul de vocabular de ieșire al modelului
    • O copie separată a modelului pentru fiecare sarcină
    • Un set mic de vectori de prefix continuu în timp ce modelul rămâne înghețat
  2. Unde sunt injectați vectorii de prefix?
    • În chei și valori la fiecare strat de atenție
    • Doar la nivelul final de ieșire
    • Numai în funcția de pierdere
    • În tokenizer înainte de încorporare
  3. Cine a introdus acordarea prefixelor și, aproximativ, când?
    • OpenAI în 2018
    • Li și Liang la Stanford în 2021
    • Google în 2015
    • Meta în 2023
  4. De ce este ajustarea prefixului atractivă pentru a îndeplini multe sarcini?
    • Nu necesită deloc date de antrenament
    • Face ca inferența să ruleze pe niciun hardware
    • Fiecare sarcină are nevoie doar de un prefix mic în loc de o copie completă a modelului
    • Rescrie permanent modelul de bază pentru toate sarcinile simultan
  5. Ce truc este adesea folosit pentru a stabiliza antrenamentul cu prefix?
    • Dublarea ratei de învățare la fiecare pas
    • Înghețarea prefixului și antrenamentul modelului
    • Îndepărtarea tuturor straturilor de atenție
    • Reparametrizarea prefixului printr-o mică rețea feed-forward care este ulterior eliminată
  6. Pe ce fel de sarcină a strălucit în special acordarea prefixelor?
    • Generarea limbajului natural, cum ar fi tabel-la-text și rezumat
    • Clasificarea imaginilor
    • Sinteza formei de undă audio
    • Indexarea bazelor de date
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • Aproximativ 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter