Test de codificare a perechilor de octeți și tokenizare

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Ce produce tokenizarea pentru citirea unui model de limbaj?
   • Jetoane, care sunt ID-uri întregi mapate la bucăți de text
   • Forme de undă audio brute
   • Grile de pixeli
   • Cod mașină compilat
2. Cum își construiește vocabularul Codificarea perechilor de octeți?
   • Prin atribuirea unui simbol pentru un cuvânt întreg într-un dicționar
   • Prin îmbinarea în mod repetat a celei mai frecvente perechi de simboluri adiacente
   • Prin gruparea aleatorie a caracterelor
   • Prin traducerea textului în altă limbă mai întâi
3. Ce problemă rezolvă metodele subcuvinte precum BPE în comparație cu tokenizarea la nivel de cuvânt?
   • Ei fac fiecare propoziție exact un simbol
   • Eli elimină necesitatea oricărui vocabular
   • Se ocupă de cuvinte rare sau nevăzute, împărțindu-le în fragmente reutilizabile
   • Lucrează doar pentru engleză
4. Care este avantajul BPE la nivel de octeți, așa cum este utilizat în modelele GPT?
   • Folosește mai puține jetoane decât orice altă metodă pentru toate limbile
   • Îndepărtează necesitatea antrenării modelului
   • Codifică doar litere engleze
   • Poate reprezenta orice text Unicode, inclusiv emoji și orice limbă, fără erori în afara vocabularului
5. De ce numărul de simboluri al unui model diferă adesea de numărul de cuvinte dintr-o propoziție?
   • Spațiile, scrierea cu majuscule și cuvintele rare modifică modul în care textul se împarte, iar un cuvânt poate deveni mai multe simboluri
   • Jetoanele sunt numărate într-o limbă aleatorie
   • Fiecare cuvânt este întotdeauna exact două simboluri
   • Numărul de jetoane depinde doar de punctuație
6. Din ce câmp a fost împrumutat inițial algoritmul de codificare perechi de octeți?
   • Redarea imaginii
   • Comprimarea datelor
   • Indexarea bazelor de date
   • Criptografie
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet