Hva er Token?

AI-systemer som produserer nytt innhold som tekst, bilder, lyd, video eller kode.

En språkmodell trent på massive tekstkorpus for å generere og analysere tekst.

En modell som kan behandle eller generere flere datatyper som tekst, bilde og lyd.

En språkagnostisk tokenizer som lærer underordenheter direkte fra rå tekst uten å forhåndssplitte på mellomrom.

En målestokk for matematikkordproblemer på grunnskolen som brukes til å evaluere trinnvise resonnementer i språkmodeller.

Prosessen med å dele opp tekst i tokens for modellinndata.