Тест за токенизация и кодиране на двойки байтове

Тествайте какво знаете за това как текстът се превръща в символи и как BPE изгражда речник.