Termín glosář AI

Co je SentencePiece?

Definice

Jazykově agnostický tokenizér, který se učí jednotky podslov přímo z nezpracovaného textu bez předběžného dělení na mezery.