Quiz collegato alla guida · Medio Livello
Quiz sull'ottimizzazione del prefisso
Valuta l'approccio "congelato" dell'ottimizzazione dei prefissi, il risparmio dei parametri per attività, il posizionamento del livello di attenzione e i risultati sulle attività di generazione del linguaggio naturale.
Domanda 1 di 8
Cosa insegna effettivamente l'ottimizzazione del prefisso?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa insegna effettivamente l'ottimizzazione del prefisso?
- Tutti i pesi dei trasformatori del modello
- Solo il livello del vocabolario di output del modello
- Una copia separata del modello per ogni attività
- Un piccolo insieme di vettori con prefisso continuo mentre il modello rimane congelato
- Dove vengono iniettati i vettori del prefisso?
- Nelle chiavi e nei valori a ogni livello di attenzione
- Solo allo strato di output finale
- Solo nella funzione di perdita
- Nel tokenizzatore prima dell'incorporamento
- Chi ha introdotto l'accordatura dei prefissi e più o meno quando?
- OpenAI nel 2018
- Li e Liang a Stanford nel 2021
- Google nel 2015
- Meta nel 2023
- Perché l'ottimizzazione dei prefissi è interessante per svolgere molte attività?
- Non richiede alcun dato di addestramento
- Fa sì che l'inferenza venga eseguita senza hardware
- Ogni attività necessita solo di un piccolo prefisso anziché di una copia completa del modello
- Riscrive permanentemente il modello base per tutte le attività contemporaneamente
- Quale trucco viene spesso utilizzato per stabilizzare l'addestramento dei prefissi?
- Raddoppiando il tasso di apprendimento ad ogni passaggio
- Congelamento del prefisso e training del modello
- Rimozione di tutti gli strati di attenzione
- Riparametrizzare il prefisso attraverso una piccola rete feed-forward che viene poi scartata
- In quale tipo di attività l'ottimizzazione dei prefissi ha brillato particolarmente?
- Generazione di linguaggio naturale come tabella-testo e riepilogo
- Classificazione delle immagini
- Sintesi della forma d'onda audio
- Indicizzazione dei database
- What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
- About 10%
- About 0.1%
- Circa il 50%
- All model parameters
- How did prefix-tuning perform in the paper’s low-data settings?
- It always matched full fine-tuning on every task
- It could not train with limited examples
- It outperformed full fine-tuning in some evaluated low-data cases
- It changed every backbone parameter