Zpět ke všem kvízůmKvíz spojený s průvodcemStřední úroveň6 Otázky

Kvíz o tokenizaci a kódování párů bajtů

Otestujte si, co víte o tom, jak se text stává tokeny a jak BPE buduje slovní zásobu.

Související vodicí cestyTokenizace a kódování párů bajtů
Otázka 1 z 6

Co vytváří tokenizace pro čtení jazykového modelu?