Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Előtag hangolási kvíz

Assess prefix tuning’s frozen-backbone approach, per-task parameter savings, attention-layer placement, and results on natural-language generation tasks.

Kapcsolódó útmutató utakElőtag hangolása
kérdés 1 -ból 8

Mit képez valójában az előtag hangolása?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit képez valójában az előtag hangolása?
    • A modell összes transzformátorsúlya
    • Csak a modell kimeneti szókincs rétege
    • Minden feladathoz külön példány a modellből
    • Folyamatos előtagvektorok kis halmaza, miközben a modell fagyasztva marad
  2. Hová injektálják az előtag vektorokat?
    • A kulcsok és értékek minden figyelmi rétegben
    • Csak a végső kimeneti rétegen
    • Csak a veszteség funkcióba
    • Beágyazás előtt a tokenizátorba
  3. Ki vezette be az előtag hangolását és nagyjából mikor?
    • OpenAI 2018-ban
    • Li és Liang a Stanfordon 2021-ben
    • Google 2015-ben
    • Meta 2023-ban
  4. Miért vonzó az előtag hangolása sok feladat kiszolgálásához?
    • Egyáltalán nem igényel edzési adatokat
    • Hardver nélkül futtatja le a következtetést
    • Minden feladatnak csak egy apró előtagra van szüksége a teljes modellmásolat helyett
    • Véglegesen újraírja az alapmodellt minden feladathoz egyszerre
  5. Milyen trükköt használnak gyakran az előtag képzés stabilizálására?
    • Minden lépésben megduplázza a tanulási sebességet
    • Az előtag befagyasztása és a modell betanítása
    • Az összes figyelemréteg eltávolítása
    • Az előtag újraparaméterezése egy kis előrecsatolt hálózaton keresztül, amelyet később eldobnak
  6. Melyik feladaton mutatkozott meg különösen az előtag hangolása?
    • A természetes nyelv generálása, mint a táblázatból szöveggé alakítás és az összegzés
    • Képosztályozás
    • Hanghullámforma szintézis
    • Adatbázis indexelés
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • kb 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter