Quiz collegato alla guida · Medio Livello
Quiz di ottimizzazione rapida
Esaminare i soft prompt al livello di input, la configurazione del modello congelato e i risultati dipendenti dalla scala riportati per l'ottimizzazione dei prompt.
Domanda 1 di 8
Cos'è un "soft prompt" nell'ottimizzazione dei prompt?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cos'è un "soft prompt" nell'ottimizzazione dei prompt?
- Apprendimento di vettori di incorporamento continuo che non necessitano di essere associati a parole reali
- Un'istruzione testuale formulata in modo educato
- Una copia distillata più piccola del modello
- Una serie di log di output congelati
- Dove la sintonizzazione rapida aggiunge i suoi vettori addestrabili?
- Ad ogni strato del trasformatore
- Solo a livello di incorporamento dell'input
- Solo allo strato di output
- All'interno dello stato dell'ottimizzatore
- Quale effetto sorprendente ha evidenziato l’articolo originale sulla scala del modello?
- La messa a punto rapida peggiora man mano che i modelli crescono
- La scala non ha alcun effetto sulla sintonizzazione rapida
- Man mano che i modelli diventano più grandi, la messa a punto rapida si avvicina alla qualità di messa a punto completa
- I modelli più grandi non possono più essere regolati tempestivamente
- Chi ha introdotto la messa a punto rapida?
- DeepMind nel 2016
- Anthropic nel 2023
- Microsoft nel 2019
- Ricercatori presso Google (Lester, Al-Rfou, Constant) nel 2021
- In che modo l'ottimizzazione rapida consente di svolgere numerose attività da un unico modello?
- Ogni attività utilizza il proprio piccolo prompt software mentre il modello rimane congelato
- Riqualifica l'intero modello per ogni richiesta
- Elimina le attività inutilizzate dai pesi
- Richiede una GPU separata per attività
- How does Lester and colleagues’ paper describe prompt tuning in relation to prefix tuning?
- As a replacement for frozen language models
- As a simpler related method that the paper compares with prefix tuning
- As a tokenizer with no trainable parameters
- As a method that updates every model weight
- Which model family did Lester and colleagues use to study prompt tuning across scales?
- WaveNet
- AlphaFold2
- T5
- Foresta di isolamento
- How are soft prompts optimized in prompt tuning?
- By changing all model weights for each task
- By replacing embeddings with hard-coded words only
- By training a new tokenizer for every example
- By backpropagation through a frozen language model to update the prompt vectors