Voltar para todos os questionáriosQuestionário vinculado ao guiaMédio Nível6 Perguntas

Questionário sobre tokenização e codificação de pares de bytes

Teste o que você sabe sobre como o texto se transforma em tokens e como o BPE constrói um vocabulário.

Pergunta 1 de 6Correto: 0

O que a tokenização produz para a leitura de um modelo de linguagem?