Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Előtag hangolási kvíz
Assess prefix tuning’s frozen-backbone approach, per-task parameter savings, attention-layer placement, and results on natural-language generation tasks.
kérdés 1 -ból 8
Mit képez valójában az előtag hangolása?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit képez valójában az előtag hangolása?
- A modell összes transzformátorsúlya
- Csak a modell kimeneti szókincs rétege
- Minden feladathoz külön példány a modellből
- Folyamatos előtagvektorok kis halmaza, miközben a modell fagyasztva marad
- Hová injektálják az előtag vektorokat?
- A kulcsok és értékek minden figyelmi rétegben
- Csak a végső kimeneti rétegen
- Csak a veszteség funkcióba
- Beágyazás előtt a tokenizátorba
- Ki vezette be az előtag hangolását és nagyjából mikor?
- OpenAI 2018-ban
- Li és Liang a Stanfordon 2021-ben
- Google 2015-ben
- Meta 2023-ban
- Miért vonzó az előtag hangolása sok feladat kiszolgálásához?
- Egyáltalán nem igényel edzési adatokat
- Hardver nélkül futtatja le a következtetést
- Minden feladatnak csak egy apró előtagra van szüksége a teljes modellmásolat helyett
- Véglegesen újraírja az alapmodellt minden feladathoz egyszerre
- Milyen trükköt használnak gyakran az előtag képzés stabilizálására?
- Minden lépésben megduplázza a tanulási sebességet
- Az előtag befagyasztása és a modell betanítása
- Az összes figyelemréteg eltávolítása
- Az előtag újraparaméterezése egy kis előrecsatolt hálózaton keresztül, amelyet később eldobnak
- Melyik feladaton mutatkozott meg különösen az előtag hangolása?
- A természetes nyelv generálása, mint a táblázatból szöveggé alakítás és az összegzés
- Képosztályozás
- Hanghullámforma szintézis
- Adatbázis indexelés
- What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
- About 10%
- About 0.1%
- kb 50%
- All model parameters
- How did prefix-tuning perform in the paper’s low-data settings?
- It always matched full fine-tuning on every task
- It could not train with limited examples
- It outperformed full fine-tuning in some evaluated low-data cases
- It changed every backbone parameter