Gids-gekoppelde quiz · Middelmatig Niveau
Prefix-afstemmingsquiz
Beoordeel de prefix-tuning's bevroren backbone-aanpak, per-taak parameterbesparingen, plaatsing van aandachtlagen, en resultaten op natuurlijke taalverwerkingstaken.
Vraag 1 van 8
Wat traint prefix-tuning eigenlijk?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat traint prefix-tuning eigenlijk?
- Alle transformatorgewichten van het model
- Alleen de uitvoerwoordenschatlaag van het model
- Voor elke taak een apart exemplaar van het model
- Een kleine set continue prefixvectoren terwijl het model bevroren blijft
- Waar worden de prefixvectoren geïnjecteerd?
- In de sleutels en waarden op elke aandachtslaag
- Alleen op de laatste uitvoerlaag
- Alleen in de verliesfunctie
- In de tokenizer vóór het insluiten
- Wie introduceerde prefix-tuning en wanneer ongeveer?
- OpenAI in 2018
- Li en Liang op Stanford in 2021
- Google in 2015
- Meta in 2023
- Waarom is het afstemmen van voorvoegsels aantrekkelijk voor veel taken?
- Er zijn helemaal geen trainingsgegevens nodig
- Het zorgt ervoor dat inferentie zonder hardware wordt uitgevoerd
- Elke taak heeft slechts een klein voorvoegsel nodig in plaats van een volledige modelkopie
- Het herschrijft permanent het basismodel voor alle taken tegelijk
- Welke truc wordt vaak gebruikt om prefixtraining te stabiliseren?
- Verdubbeling van de leersnelheid bij elke stap
- Het voorvoegsel bevriezen en het model trainen
- Alle aandachtslagen verwijderen
- Het opnieuw parametriseren van het voorvoegsel via een klein feed-forward-netwerk dat later wordt weggegooid
- Op welk soort taak was prefix-tuning vooral van belang?
- Generatie van natuurlijke taal, zoals tabel-naar-tekst en samenvatting
- Beeldclassificatie
- Synthese van audiogolfvormen
- Database-indexering
- What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
- About 10%
- About 0.1%
- Ongeveer 50%
- All model parameters
- How did prefix-tuning perform in the paper’s low-data settings?
- It always matched full fine-tuning on every task
- It could not train with limited examples
- It outperformed full fine-tuning in some evaluated low-data cases
- It changed every backbone parameter