Gids-gekoppelde quiz · Middelmatig Niveau

Prefix-afstemmingsquiz

Beoordeel de prefix-tuning's bevroren backbone-aanpak, per-taak parameterbesparingen, plaatsing van aandachtlagen, en resultaten op natuurlijke taalverwerkingstaken.

Gerelateerde gidspadenVoorvoegsel afstemmen
Vraag 1 van 8

Wat traint prefix-tuning eigenlijk?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat traint prefix-tuning eigenlijk?
    • Alle transformatorgewichten van het model
    • Alleen de uitvoerwoordenschatlaag van het model
    • Voor elke taak een apart exemplaar van het model
    • Een kleine set continue prefixvectoren terwijl het model bevroren blijft
  2. Waar worden de prefixvectoren geïnjecteerd?
    • In de sleutels en waarden op elke aandachtslaag
    • Alleen op de laatste uitvoerlaag
    • Alleen in de verliesfunctie
    • In de tokenizer vóór het insluiten
  3. Wie introduceerde prefix-tuning en wanneer ongeveer?
    • OpenAI in 2018
    • Li en Liang op Stanford in 2021
    • Google in 2015
    • Meta in 2023
  4. Waarom is het afstemmen van voorvoegsels aantrekkelijk voor veel taken?
    • Er zijn helemaal geen trainingsgegevens nodig
    • Het zorgt ervoor dat inferentie zonder hardware wordt uitgevoerd
    • Elke taak heeft slechts een klein voorvoegsel nodig in plaats van een volledige modelkopie
    • Het herschrijft permanent het basismodel voor alle taken tegelijk
  5. Welke truc wordt vaak gebruikt om prefixtraining te stabiliseren?
    • Verdubbeling van de leersnelheid bij elke stap
    • Het voorvoegsel bevriezen en het model trainen
    • Alle aandachtslagen verwijderen
    • Het opnieuw parametriseren van het voorvoegsel via een klein feed-forward-netwerk dat later wordt weggegooid
  6. Op welk soort taak was prefix-tuning vooral van belang?
    • Generatie van natuurlijke taal, zoals tabel-naar-tekst en samenvatting
    • Beeldclassificatie
    • Synthese van audiogolfvormen
    • Database-indexering
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • Ongeveer 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter