Quiz collegato alla guida · Medio Livello
Quiz sulla tokenizzazione e sulla codifica delle coppie di byte
Verifica gli ID dei token, le unioni BPE basate sulla frequenza, la copertura a livello di byte, l'ordine di unione e il motivo per cui il conteggio dei token differisce dal conteggio delle parole.
Domanda 1 di 8
Cosa produce la tokenizzazione per la lettura di un modello linguistico?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa produce la tokenizzazione per la lettura di un modello linguistico?
- Token, che sono ID interi mappati su parti di testo
- Forme d'onda audio grezze
- Griglie di pixel
- Codice macchina compilato
- In che modo Byte Pair Encoding costruisce il suo vocabolario?
- Assegnando un token per parola intera in un dizionario
- Unendo ripetutamente la coppia di simboli adiacenti più frequente
- Raggruppando casualmente i personaggi
- Traducendo prima il testo in un'altra lingua
- Quale problema risolvono i metodi delle sottoparole come BPE rispetto alla tokenizzazione a livello di parola?
- Rendono ogni frase esattamente un token
- Eliminano la necessità di qualsiasi vocabolario
- Gestiscono parole rare o invisibili suddividendole in frammenti riutilizzabili
- Funzionano solo per l'inglese
- Qual è il vantaggio del BPE a livello di byte, come utilizzato nei modelli GPT?
- Utilizza meno token di qualsiasi altro metodo per tutte le lingue
- Elimina la necessità di addestrare il modello
- Codifica solo lettere inglesi
- Può rappresentare qualsiasi testo Unicode, incluse emoji e qualsiasi lingua, senza errori fuori dal vocabolario
- Perché il conteggio dei token di un modello spesso differisce dal numero di parole in una frase?
- Spazi, maiuscole e parole rare modificano il modo in cui il testo viene suddiviso e una parola può diventare più token
- I token vengono contati in una lingua casuale
- Ogni parola è sempre esattamente due token
- Il conteggio dei token dipende solo dalla punteggiatura
- Da quale campo è stato originariamente preso in prestito l'algoritmo Byte Pair Encoding?
- Rendering delle immagini
- Compressione dei dati
- Indicizzazione dei database
- Crittografia
- After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
- A new merge ranking learned separately for each sentence
- A dictionary of whole words only
- The learned vocabulary and ordered merge rules applied to the input symbols
- A translation table that changes the text language
- Why can byte-level BPE encode a character it never saw as a whole token during training?
- The tokenizer invents new model parameters for each character
- It drops every unseen character
- The model automatically translates it to English first
- The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet