Quiz collegato alla guida · Medio Livello

Quiz di ottimizzazione rapida

Esaminare i soft prompt al livello di input, la configurazione del modello congelato e i risultati dipendenti dalla scala riportati per l'ottimizzazione dei prompt.

Percorsi guida correlatiSintonizzazione rapida
Domanda 1 di 8

Cos'è un "soft prompt" nell'ottimizzazione dei prompt?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cos'è un "soft prompt" nell'ottimizzazione dei prompt?
    • Apprendimento di vettori di incorporamento continuo che non necessitano di essere associati a parole reali
    • Un'istruzione testuale formulata in modo educato
    • Una copia distillata più piccola del modello
    • Una serie di log di output congelati
  2. Dove la sintonizzazione rapida aggiunge i suoi vettori addestrabili?
    • Ad ogni strato del trasformatore
    • Solo a livello di incorporamento dell'input
    • Solo allo strato di output
    • All'interno dello stato dell'ottimizzatore
  3. Quale effetto sorprendente ha evidenziato l’articolo originale sulla scala del modello?
    • La messa a punto rapida peggiora man mano che i modelli crescono
    • La scala non ha alcun effetto sulla sintonizzazione rapida
    • Man mano che i modelli diventano più grandi, la messa a punto rapida si avvicina alla qualità di messa a punto completa
    • I modelli più grandi non possono più essere regolati tempestivamente
  4. Chi ha introdotto la messa a punto rapida?
    • DeepMind nel 2016
    • Anthropic nel 2023
    • Microsoft nel 2019
    • Ricercatori presso Google (Lester, Al-Rfou, Constant) nel 2021
  5. In che modo l'ottimizzazione rapida consente di svolgere numerose attività da un unico modello?
    • Ogni attività utilizza il proprio piccolo prompt software mentre il modello rimane congelato
    • Riqualifica l'intero modello per ogni richiesta
    • Elimina le attività inutilizzate dai pesi
    • Richiede una GPU separata per attività
  6. How does Lester and colleagues’ paper describe prompt tuning in relation to prefix tuning?
    • As a replacement for frozen language models
    • As a simpler related method that the paper compares with prefix tuning
    • As a tokenizer with no trainable parameters
    • As a method that updates every model weight
  7. Which model family did Lester and colleagues use to study prompt tuning across scales?
    • WaveNet
    • AlphaFold2
    • T5
    • Foresta di isolamento
  8. How are soft prompts optimized in prompt tuning?
    • By changing all model weights for each task
    • By replacing embeddings with hard-coded words only
    • By training a new tokenizer for every example
    • By backpropagation through a frozen language model to update the prompt vectors