Quiz collegato alla guida · Medio Livello

Quiz sulle disparità di tokenizzazione tra le lingue

Verifica perché i tokenizzatori dividono alcune lingue in più token, come ciò influisce sulle finestre di costo e contesto e come controllare e ridurre il divario.

Domanda 1 di 8

Qual è la causa principale dei grandi divari nel conteggio dei token tra le lingue?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è la causa principale dei grandi divari nel conteggio dei token tra le lingue?
    • Alcune lingue sono naturalmente dieci volte più prolisse dell'inglese
    • I tokenizzatori sono stati costruiti da testi di addestramento dominati dall'inglese e da poche altre lingue
    • Il testo non inglese viene compresso prima della tokenizzazione
    • I modelli addebitano costi aggiuntivi per la traduzione
  2. Perché script come Devanagari o Thai producono spesso più token con tokenizzatori basati su byte?
    • I loro caratteri solitamente occupano tre byte ciascuno in UTF-8 e possono raramente essere uniti
    • Sono sempre scritti senza spazi
    • Vengono prima convertiti in immagini
    • I tokenizzatori li rifiutano e li sostituiscono con inglese
  3. Quale di queste NON è una delle tre conseguenze dei conteggi di token più alti indicate nella guida?
    • Costo più alto per messaggio
    • Meno testo che entra nella finestra di contesto
    • Generazione più lenta a causa di più passaggi
    • Rifiuto automatico di rispondere
  4. Cosa significa il termine fertilità in questo contesto?
    • Quanto velocemente un modello impara una nuova lingua
    • Il numero medio di token prodotti per parola
    • Il numero di lingue supportate da un modello
    • La dimensione del set di dati di training
  5. Quale cambiamento ha descritto OpenAI quando ha rilasciato GPT-4o nel 2024?
    • Ha smesso di addebitare per il testo non inglese
    • Ha rimosso del tutto il suo tokenizzatore
    • Ha introdotto un tokenizzatore più grande che utilizza meno token per molte lingue non inglesi
    • Ha limitato GPT-4o solo all'inglese
  6. Qual è il miglior primo passo per pianificare i costi di un'app multilingue?
    • Supponi che ogni lingua costi lo stesso dell'inglese
    • Tokenizza documenti tradotti rappresentativi con il tokenizzatore esatto del tuo modello e confronta i conteggi
    • Scegli il modello più economico indipendentemente dalla lingua
    • Traduci tutti i messaggi degli utenti in inglese prima senza testare
  7. Quale compromesso comporta l'ampliamento del vocabolario di un tokenizzatore?
    • Rende impossibile elaborare il testo in inglese
    • Aumenta la dimensione degli strati di embedding e di output
    • Elimina la necessità di dati di addestramento
    • Abbassa sempre la qualità del modello
  8. Secondo la guida, perché 'alcune lingue sono semplicemente più verbose' è un fraintendimento?
    • Tutte le traduzioni hanno esattamente la stessa lunghezza
    • La prolissità non ha alcun effetto su nulla
    • Le grandi lacune di token derivano principalmente dal design del tokenizzatore, non dalle lingue stesse
    • I tokenizzatori contano solo gli spazi