Termo do glossário de IA

O que é Tokenização?

Definição

O processo de divisão de texto em tokens para entrada do modelo.