Wat is Tokenisatie?

Het maximale aantal invoertokens dat een taalmodel tegelijk kan verwerken.

Een tokenisatie-algoritme voor subwoorden dat de meest voorkomende tekenparen samenvoegt tot herbruikbare tokens.

Het onderdeel van een model dat input omzet in latente representaties.

Een model dat meerdere gegevenstypen, zoals tekst, afbeeldingen en audio, kan verwerken of genereren.

Technologie die tekst in afbeeldingen of scans omzet in machinaal leesbare tekst.

Een taalonafhankelijke tokenizer die subwoordeenheden rechtstreeks uit onbewerkte tekst leert, zonder vooraf te splitsen op witruimte.