O que é Símbolo?
Definição
Um pedaço de texto processado por modelos de linguagem, como uma palavra ou símbolo.
Termos relacionados
Saiba mais em nossos guias gratuitos
SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction