Quiz collegato alla guida · Medio Livello
Quiz sulle disparità di tokenizzazione tra le lingue
Verifica perché i tokenizzatori dividono alcune lingue in più token, come ciò influisce sulle finestre di costo e contesto e come controllare e ridurre il divario.
Domanda 1 di 8
Qual è la causa principale dei grandi divari nel conteggio dei token tra le lingue?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è la causa principale dei grandi divari nel conteggio dei token tra le lingue?
- Alcune lingue sono naturalmente dieci volte più prolisse dell'inglese
- I tokenizzatori sono stati costruiti da testi di addestramento dominati dall'inglese e da poche altre lingue
- Il testo non inglese viene compresso prima della tokenizzazione
- I modelli addebitano costi aggiuntivi per la traduzione
- Perché script come Devanagari o Thai producono spesso più token con tokenizzatori basati su byte?
- I loro caratteri solitamente occupano tre byte ciascuno in UTF-8 e possono raramente essere uniti
- Sono sempre scritti senza spazi
- Vengono prima convertiti in immagini
- I tokenizzatori li rifiutano e li sostituiscono con inglese
- Quale di queste NON è una delle tre conseguenze dei conteggi di token più alti indicate nella guida?
- Costo più alto per messaggio
- Meno testo che entra nella finestra di contesto
- Generazione più lenta a causa di più passaggi
- Rifiuto automatico di rispondere
- Cosa significa il termine fertilità in questo contesto?
- Quanto velocemente un modello impara una nuova lingua
- Il numero medio di token prodotti per parola
- Il numero di lingue supportate da un modello
- La dimensione del set di dati di training
- Quale cambiamento ha descritto OpenAI quando ha rilasciato GPT-4o nel 2024?
- Ha smesso di addebitare per il testo non inglese
- Ha rimosso del tutto il suo tokenizzatore
- Ha introdotto un tokenizzatore più grande che utilizza meno token per molte lingue non inglesi
- Ha limitato GPT-4o solo all'inglese
- Qual è il miglior primo passo per pianificare i costi di un'app multilingue?
- Supponi che ogni lingua costi lo stesso dell'inglese
- Tokenizza documenti tradotti rappresentativi con il tokenizzatore esatto del tuo modello e confronta i conteggi
- Scegli il modello più economico indipendentemente dalla lingua
- Traduci tutti i messaggi degli utenti in inglese prima senza testare
- Quale compromesso comporta l'ampliamento del vocabolario di un tokenizzatore?
- Rende impossibile elaborare il testo in inglese
- Aumenta la dimensione degli strati di embedding e di output
- Elimina la necessità di dati di addestramento
- Abbassa sempre la qualità del modello
- Secondo la guida, perché 'alcune lingue sono semplicemente più verbose' è un fraintendimento?
- Tutte le traduzioni hanno esattamente la stessa lunghezza
- La prolissità non ha alcun effetto su nulla
- Le grandi lacune di token derivano principalmente dal design del tokenizzatore, non dalle lingue stesse
- I tokenizzatori contano solo gli spazi