Termine del glossario AI

Che cos’è FrasePezzo?

Definizione

Un tokenizzatore indipendente dalla lingua che apprende le unità delle sottoparole direttamente dal testo non elaborato senza pre-divisione negli spazi bianchi.