Quiz dotyczący tokenizacji i kodowania par bajtów

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co powoduje tokenizacja, aby model języka mógł czytać?
   • Tokeny, które są identyfikatorami całkowitymi mapowanymi na fragmenty tekstu
   • Surowe przebiegi audio
   • Siatki pikseli
   • Skompilowany kod maszynowy
2. W jaki sposób kodowanie par bajtów buduje swoje słownictwo?
   • Przypisując jeden token na całe słowo w słowniku
   • Poprzez wielokrotne łączenie najczęściej sąsiadującej pary symboli
   • Przez losowe grupowanie postaci
   • Najpierw tłumacząc tekst na inny język
3. Jaki problem rozwiązują metody podsłów, takie jak BPE, w porównaniu z tokenizacją na poziomie słowa?
   • Tworzą każde zdanie dokładnie jednym żetonem
   • Eliminują potrzebę stosowania jakiegokolwiek słownictwa
   • Obsługują rzadkie lub niewidoczne słowa, dzieląc je na fragmenty nadające się do ponownego wykorzystania
   • Działają tylko w języku angielskim
4. Jaka jest zaleta BPE na poziomie bajtów, stosowanego w modelach GPT?
   • Używa mniej tokenów niż jakakolwiek inna metoda dla wszystkich języków
   • Eliminuje to potrzebę uczenia modelu
   • Koduje tylko litery angielskie
   • Może reprezentować dowolny tekst Unicode, w tym emoji i dowolny język, bez błędów związanych ze słownictwem
5. Dlaczego liczba żetonów modelu często różni się od liczby słów w zdaniu?
   • Spacje, wielkie litery i rzadkie słowa zmieniają sposób podziału tekstu, a jedno słowo może stać się kilkoma tokenami
   • Tokeny liczone są w losowym języku
   • Każde słowo to zawsze dokładnie dwa żetony
   • Liczba tokenów zależy wyłącznie od interpunkcji
6. Z jakiego pola pierwotnie zapożyczono algorytm kodowania par bajtów?
   • Renderowanie obrazu
   • Kompresja danych
   • Indeksowanie baz danych
   • Kryptografia
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet