Zpět ke všem kvízůmKvíz spojený s průvodcemStřední úroveň6 Otázky

Tokenizační kvíz SentencePiece

Posuďte své porozumění tomu, jak SentencePiece tokenizuje nezpracovaný text jazykově nezávislým a vratným způsobem.

Související vodicí cestyTokenizace věty
Otázka 1 z 6

Jakému klíčovému předpokladu se SentencePiece vyhýbá, na který spoléhají tradiční tokenizéry?