Test legat de ghid · Mediu Nivel
Straturi adaptoare pentru testul de transfer
Verificați cum adaptoarele de blocaj păstrează un model de bază înghețat, permit transferul de sarcini modulare sau de domeniu și comparați cu LoRA.
Întrebare 1 de 8
Ce se întâmplă cu greutățile originale preantrenate atunci când se antrenează cu adaptoare?
Previzualizează fiecare întrebare8 întrebări
Răspunsurile și explicațiile apar pe măsură ce susțineți testul.
- Ce se întâmplă cu greutățile originale preantrenate atunci când se antrenează cu adaptoare?
- Acestea sunt înghețate în timp ce sunt antrenați numai parametrii adaptorului
- Sunt șterse
- Sunt reinițializate aleatoriu
- Au dimensiunea dublată
- Care este structura internă tipică a unui adaptor de blocaj?
- Un singur strat imens dens
- O proiecție în jos, o neliniaritate, apoi o proiecție în sus, cu o conexiune reziduală
- Doar un cap de atenție
- Un filtru de imagine convoluțional
- Aproximativ ce fracțiune de parametri antrenează de obicei adaptoarele?
- 100%
- Exact 50%
- Adesea sub 5%
- Deloc
- De ce sunt adaptoarele convenabile pentru a îndeplini multe sarcini?
- Acestea necesită o copie separată a modelului complet pentru fiecare sarcină
- Ele nu pot fi combinate
- Ei șterg modelul de bază după fiecare sarcină
- Păstrați un model de bază și schimbați adaptoare mici pentru fiecare sarcină
- Cărei familii de tehnici aparțin adaptoarele?
- Reglare fină eficientă din punct de vedere al parametrilor (PEFT)
- Mărirea datelor
- Comprimarea imaginii
- Scheme de tokenizare
- Ce avantaj oferă LoRA față de un adaptor inserat clasic la momentul deducerii?
- Nu poate fi antrenat
- Greutățile sale învățate pot fi îmbinate în matricele de bază, evitând latența suplimentară pe strat
- Necesită recalificarea întregului model
- Îndepărtează permanent conexiunea reziduală
- What does a residual connection contribute to a classic bottleneck adapter?
- A second full pretrained model copy for each task
- A mandatory external retrieval database
- A path that adds the adapter’s transformed representation back to the original hidden state
- A guarantee that no added computation occurs
- What is one benefit of stacking a domain adapter with a task adapter?
- Merge all user data into the frozen base weights automatically
- Avoid using any adapter modules
- Convert a language model into a vision encoder
- Reuse a domain specialization together with a separate task specialization