Quiz collegato alla guida · Medio Livello

Perplexity e quiz sulle metriche linguistiche

Esamina la probabilità dei token di riferimento, l'entropia incrociata, le linee di base uniformi, la tokenizzazione comparabile, il BLEU, i limiti di qualità, le finestre di contesto e i modelli mascherati.

Percorsi guida correlatiPerplexity E metriche linguistiche
Domanda 1 di 8

Con la stessa configurazione di punteggio del testo autoregressivo, cosa indica una minore perplessità?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Con la stessa configurazione di punteggio del testo autoregressivo, cosa indica una minore perplessità?
    • Probabilità log negativa media inferiore per i token di riferimento
    • Una garanzia di risposte generate più corrette dal punto di vista fattuale
    • Una garanzia di un numero maggiore di parametri
    • Un requisito che ogni previsione di prima scelta sia corretta
  2. Utilizzando la log-verosimiglianza negativa del logaritmo naturale, come viene calcolata la perplessità autoregressiva dalla sua media?
    • Moltiplicando il conteggio dei parametri per la lunghezza del contesto
    • Sottraendo la media dal numero di teste di attenzione
    • Prendendo il tasso di apprendimento medio
    • Esponenziando la log-verosimiglianza media negativa
  3. Un modello assegna una probabilità uniforme a un vocabolario di 10.000 parole senza apprendimento. Qual è la sua perplessità?
    • 1
    • 10.000
    • 0
    • 100
  4. Perché le impostazioni del tokenizzatore e del corpus sono importanti quando si confrontano direttamente i valori di perplessità per token?
    • Perplexity ignora ogni token di riferimento con punteggio
    • Tutti i corpora producono necessariamente la stessa probabilità
    • Cambiano le unità o i dati di riferimento su cui viene calcolata la media delle probabilità
    • Solo il conteggio dei parametri del modello determina il punteggio
  5. Quale metrica di riferimento alla traduzione utilizza una precisione modificata di n grammi e una penalità di brevità?
    • Perplexity
    • Errore medio dei pixel quadrati
    • Conteggio dei parametri del modello
    • BLU
  6. Quale limitazione chiave spinge i ricercatori oltre le perplessità nel giudicare la qualità del mondo reale?
    • Perplexity misura la previsione della parola successiva, non se l'output è utile, vero o utile
    • Perplexity è troppo costoso da calcolare
    • Perplexity non può essere calcolato su dati di testo
    • Perplexity funziona solo durante l'inferenza, non l'addestramento
  7. Quando si valuta un testo lungo con un modello a contesto fisso, cosa può fornire una procedura a finestra scorrevole affinché i pezzi disgiunti perdano i confini vicini?
    • Un nuovo vocabolario appreso automaticamente ad ogni confine
    • Una garanzia che le risposte generate siano effettivamente corrette
    • Più contesto precedente per i token target con punteggio
    • Un requisito per contare ripetutamente ciascun bersaglio sovrapposto
  8. Perché la perplessità convenzionale da sinistra a destra non è direttamente lo stesso punteggio per un modello linguistico mascherato in stile BERT?
    • BERT non ha parametri appresi
    • Il modello mascherato non definisce direttamente la stessa fattorizzazione della sequenza autoregressiva
    • Ogni probabilità del token mascherato è necessariamente zero
    • Perplexity è definito solo per i pixel dell'immagine