Kvíz spojený s průvodcem · Střední úroveň

Vrstvy adaptéru pro přenosový kvíz

Zkontrolujte, jak adaptéry s úzkým hrdlem zachovávají zmrazený základní model, umožňují přenos modulárních úloh nebo domén a porovnejte je s LoRA.

Související vodicí cestyVrstvy adaptéru pro přenos
Otázka 1 z 8

Co se stane s původními předtrénovanými závažími při tréninku s adaptéry?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co se stane s původními předtrénovanými závažími při tréninku s adaptéry?
    • Jsou zmrazeny, zatímco jsou trénovány pouze parametry adaptéru
    • Jsou smazány
    • Jsou náhodně reinicializovány
    • Mají dvojnásobnou velikost
  2. Jaká je typická vnitřní struktura adaptéru s úzkým hrdlem?
    • Jediná obrovská hustá vrstva
    • Sestupná projekce, nelinearita, pak vzestupná projekce se zbytkovým spojením
    • Pouze hlava pozornosti
    • Konvoluční obrazový filtr
  3. Přibližně jaký zlomek parametrů adaptéry obvykle trénují?
    • 100 %
    • přesně 50 %
    • Často pod 5 %
    • vůbec žádný
  4. Proč jsou adaptéry vhodné pro obsluhu mnoha úkolů?
    • Pro každý úkol vyžadují samostatnou kopii úplného modelu
    • Nelze je kombinovat
    • Po každém úkolu vymažou základní model
    • Ponecháte si jeden základní model a vyměníte malé adaptéry pro jednotlivé úlohy
  5. Do které skupiny technik patří adaptéry?
    • Parametrově efektivní jemné doladění (PEFT)
    • Rozšíření dat
    • Komprese obrazu
    • Tokenizační schémata
  6. Jakou výhodu nabízí LoRA oproti klasickému vloženému adaptéru v době inference?
    • To se nedá natrénovat
    • Jeho naučené váhy lze sloučit do základních matic, čímž se vyhnete dodatečné latenci na vrstvu
    • Vyžaduje to přeškolení celého modelu
    • Trvale odstraní zbytkové spojení
  7. What does a residual connection contribute to a classic bottleneck adapter?
    • A second full pretrained model copy for each task
    • A mandatory external retrieval database
    • A path that adds the adapter’s transformed representation back to the original hidden state
    • A guarantee that no added computation occurs
  8. What is one benefit of stacking a domain adapter with a task adapter?
    • Merge all user data into the frozen base weights automatically
    • Avoid using any adapter modules
    • Convert a language model into a vision encoder
    • Reuse a domain specialization together with a separate task specialization