Quiz collegato alla guida · Medio Livello

Quiz sull'ottimizzazione del prefisso

Valuta l'approccio "congelato" dell'ottimizzazione dei prefissi, il risparmio dei parametri per attività, il posizionamento del livello di attenzione e i risultati sulle attività di generazione del linguaggio naturale.

Percorsi guida correlatiSintonizzazione del prefisso
Domanda 1 di 8

Cosa insegna effettivamente l'ottimizzazione del prefisso?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa insegna effettivamente l'ottimizzazione del prefisso?
    • Tutti i pesi dei trasformatori del modello
    • Solo il livello del vocabolario di output del modello
    • Una copia separata del modello per ogni attività
    • Un piccolo insieme di vettori con prefisso continuo mentre il modello rimane congelato
  2. Dove vengono iniettati i vettori del prefisso?
    • Nelle chiavi e nei valori a ogni livello di attenzione
    • Solo allo strato di output finale
    • Solo nella funzione di perdita
    • Nel tokenizzatore prima dell'incorporamento
  3. Chi ha introdotto l'accordatura dei prefissi e più o meno quando?
    • OpenAI nel 2018
    • Li e Liang a Stanford nel 2021
    • Google nel 2015
    • Meta nel 2023
  4. Perché l'ottimizzazione dei prefissi è interessante per svolgere molte attività?
    • Non richiede alcun dato di addestramento
    • Fa sì che l'inferenza venga eseguita senza hardware
    • Ogni attività necessita solo di un piccolo prefisso anziché di una copia completa del modello
    • Riscrive permanentemente il modello base per tutte le attività contemporaneamente
  5. Quale trucco viene spesso utilizzato per stabilizzare l'addestramento dei prefissi?
    • Raddoppiando il tasso di apprendimento ad ogni passaggio
    • Congelamento del prefisso e training del modello
    • Rimozione di tutti gli strati di attenzione
    • Riparametrizzare il prefisso attraverso una piccola rete feed-forward che viene poi scartata
  6. In quale tipo di attività l'ottimizzazione dei prefissi ha brillato particolarmente?
    • Generazione di linguaggio naturale come tabella-testo e riepilogo
    • Classificazione delle immagini
    • Sintesi della forma d'onda audio
    • Indicizzazione dei database
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • Circa il 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter