Quiz collegato alla guida · Medio Livello
Perplexity e quiz sulle metriche linguistiche
Esamina la probabilità dei token di riferimento, l'entropia incrociata, le linee di base uniformi, la tokenizzazione comparabile, il BLEU, i limiti di qualità, le finestre di contesto e i modelli mascherati.
Domanda 1 di 8
Con la stessa configurazione di punteggio del testo autoregressivo, cosa indica una minore perplessità?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Con la stessa configurazione di punteggio del testo autoregressivo, cosa indica una minore perplessità?
- Probabilità log negativa media inferiore per i token di riferimento
- Una garanzia di risposte generate più corrette dal punto di vista fattuale
- Una garanzia di un numero maggiore di parametri
- Un requisito che ogni previsione di prima scelta sia corretta
- Utilizzando la log-verosimiglianza negativa del logaritmo naturale, come viene calcolata la perplessità autoregressiva dalla sua media?
- Moltiplicando il conteggio dei parametri per la lunghezza del contesto
- Sottraendo la media dal numero di teste di attenzione
- Prendendo il tasso di apprendimento medio
- Esponenziando la log-verosimiglianza media negativa
- Un modello assegna una probabilità uniforme a un vocabolario di 10.000 parole senza apprendimento. Qual è la sua perplessità?
- 1
- 10.000
- 0
- 100
- Perché le impostazioni del tokenizzatore e del corpus sono importanti quando si confrontano direttamente i valori di perplessità per token?
- Perplexity ignora ogni token di riferimento con punteggio
- Tutti i corpora producono necessariamente la stessa probabilità
- Cambiano le unità o i dati di riferimento su cui viene calcolata la media delle probabilità
- Solo il conteggio dei parametri del modello determina il punteggio
- Quale metrica di riferimento alla traduzione utilizza una precisione modificata di n grammi e una penalità di brevità?
- Perplexity
- Errore medio dei pixel quadrati
- Conteggio dei parametri del modello
- BLU
- Quale limitazione chiave spinge i ricercatori oltre le perplessità nel giudicare la qualità del mondo reale?
- Perplexity misura la previsione della parola successiva, non se l'output è utile, vero o utile
- Perplexity è troppo costoso da calcolare
- Perplexity non può essere calcolato su dati di testo
- Perplexity funziona solo durante l'inferenza, non l'addestramento
- Quando si valuta un testo lungo con un modello a contesto fisso, cosa può fornire una procedura a finestra scorrevole affinché i pezzi disgiunti perdano i confini vicini?
- Un nuovo vocabolario appreso automaticamente ad ogni confine
- Una garanzia che le risposte generate siano effettivamente corrette
- Più contesto precedente per i token target con punteggio
- Un requisito per contare ripetutamente ciascun bersaglio sovrapposto
- Perché la perplessità convenzionale da sinistra a destra non è direttamente lo stesso punteggio per un modello linguistico mascherato in stile BERT?
- BERT non ha parametri appresi
- Il modello mascherato non definisce direttamente la stessa fattorizzazione della sequenza autoregressiva
- Ogni probabilità del token mascherato è necessariamente zero
- Perplexity è definito solo per i pixel dell'immagine