Vad är Token?

AI-system som producerar nytt innehåll som text, bilder, ljud, video eller kod.

En språkmodell tränad på massiva textkorpus för att generera och analysera text.

En modell som kan bearbeta eller generera flera datatyper som text, bild och ljud.

En språkagnostisk tokenizer som lär sig underordsenheter direkt från råtext utan fördelning på blanksteg.

Ett riktmärke för matematiska ordproblem i grundskolan som används för att utvärdera steg-för-steg-resonemang i språkmodeller.

Processen att dela upp text i tokens för modellinmatning.