Quiz collegato alla guida · Medio Livello

Quiz sulla tokenizzazione e sulla codifica delle coppie di byte

Verifica gli ID dei token, le unioni BPE basate sulla frequenza, la copertura a livello di byte, l'ordine di unione e il motivo per cui il conteggio dei token differisce dal conteggio delle parole.

Domanda 1 di 8

Cosa produce la tokenizzazione per la lettura di un modello linguistico?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa produce la tokenizzazione per la lettura di un modello linguistico?
    • Token, che sono ID interi mappati su parti di testo
    • Forme d'onda audio grezze
    • Griglie di pixel
    • Codice macchina compilato
  2. In che modo Byte Pair Encoding costruisce il suo vocabolario?
    • Assegnando un token per parola intera in un dizionario
    • Unendo ripetutamente la coppia di simboli adiacenti più frequente
    • Raggruppando casualmente i personaggi
    • Traducendo prima il testo in un'altra lingua
  3. Quale problema risolvono i metodi delle sottoparole come BPE rispetto alla tokenizzazione a livello di parola?
    • Rendono ogni frase esattamente un token
    • Eliminano la necessità di qualsiasi vocabolario
    • Gestiscono parole rare o invisibili suddividendole in frammenti riutilizzabili
    • Funzionano solo per l'inglese
  4. Qual è il vantaggio del BPE a livello di byte, come utilizzato nei modelli GPT?
    • Utilizza meno token di qualsiasi altro metodo per tutte le lingue
    • Elimina la necessità di addestrare il modello
    • Codifica solo lettere inglesi
    • Può rappresentare qualsiasi testo Unicode, incluse emoji e qualsiasi lingua, senza errori fuori dal vocabolario
  5. Perché il conteggio dei token di un modello spesso differisce dal numero di parole in una frase?
    • Spazi, maiuscole e parole rare modificano il modo in cui il testo viene suddiviso e una parola può diventare più token
    • I token vengono contati in una lingua casuale
    • Ogni parola è sempre esattamente due token
    • Il conteggio dei token dipende solo dalla punteggiatura
  6. Da quale campo è stato originariamente preso in prestito l'algoritmo Byte Pair Encoding?
    • Rendering delle immagini
    • Compressione dei dati
    • Indicizzazione dei database
    • Crittografia
  7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
    • A new merge ranking learned separately for each sentence
    • A dictionary of whole words only
    • The learned vocabulary and ordered merge rules applied to the input symbols
    • A translation table that changes the text language
  8. Why can byte-level BPE encode a character it never saw as a whole token during training?
    • The tokenizer invents new model parameters for each character
    • It drops every unseen character
    • The model automatically translates it to English first
    • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet