AI-verklarende term

Wat is Tokenisatie?

Definitie

Het proces waarbij tekst in tokens wordt gesplitst voor modelinvoer.