Kvíz spojený s průvodcem · Střední úroveň
Vrstvy adaptéru pro přenosový kvíz
Zkontrolujte, jak adaptéry s úzkým hrdlem zachovávají zmrazený základní model, umožňují přenos modulárních úloh nebo domén a porovnejte je s LoRA.
Otázka 1 z 8
Co se stane s původními předtrénovanými závažími při tréninku s adaptéry?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co se stane s původními předtrénovanými závažími při tréninku s adaptéry?
- Jsou zmrazeny, zatímco jsou trénovány pouze parametry adaptéru
- Jsou smazány
- Jsou náhodně reinicializovány
- Mají dvojnásobnou velikost
- Jaká je typická vnitřní struktura adaptéru s úzkým hrdlem?
- Jediná obrovská hustá vrstva
- Sestupná projekce, nelinearita, pak vzestupná projekce se zbytkovým spojením
- Pouze hlava pozornosti
- Konvoluční obrazový filtr
- Přibližně jaký zlomek parametrů adaptéry obvykle trénují?
- 100 %
- přesně 50 %
- Často pod 5 %
- vůbec žádný
- Proč jsou adaptéry vhodné pro obsluhu mnoha úkolů?
- Pro každý úkol vyžadují samostatnou kopii úplného modelu
- Nelze je kombinovat
- Po každém úkolu vymažou základní model
- Ponecháte si jeden základní model a vyměníte malé adaptéry pro jednotlivé úlohy
- Do které skupiny technik patří adaptéry?
- Parametrově efektivní jemné doladění (PEFT)
- Rozšíření dat
- Komprese obrazu
- Tokenizační schémata
- Jakou výhodu nabízí LoRA oproti klasickému vloženému adaptéru v době inference?
- To se nedá natrénovat
- Jeho naučené váhy lze sloučit do základních matic, čímž se vyhnete dodatečné latenci na vrstvu
- Vyžaduje to přeškolení celého modelu
- Trvale odstraní zbytkové spojení
- What does a residual connection contribute to a classic bottleneck adapter?
- A second full pretrained model copy for each task
- A mandatory external retrieval database
- A path that adds the adapter’s transformed representation back to the original hidden state
- A guarantee that no added computation occurs
- What is one benefit of stacking a domain adapter with a task adapter?
- Merge all user data into the frozen base weights automatically
- Avoid using any adapter modules
- Convert a language model into a vision encoder
- Reuse a domain specialization together with a separate task specialization