Termin ze słownika AI

Czym jest Tokenizacja?

Definicja

Proces dzielenia tekstu na tokeny na potrzeby wprowadzania danych modelu.