AI-verklarende term

Wat is Zinstuk?

Definitie

Een taalonafhankelijke tokenizer die subwoordeenheden rechtstreeks uit onbewerkte tekst leert, zonder vooraf te splitsen op witruimte.