Was ist Token?

KI-Systeme, die neue Inhalte wie Texte, Bilder, Audio, Video oder Code produzieren.

Ein Sprachmodell, das auf umfangreichen Textkorpora trainiert wurde, um Text zu generieren und zu analysieren.

Ein Modell, das mehrere Datentypen wie Text, Bild und Audio verarbeiten oder generieren kann.

Ein sprachunabhängiger Tokenizer, der Unterworteinheiten direkt aus Rohtext lernt, ohne vorher in Leerzeichen aufzuteilen.

Ein Benchmark für mathematische Wortaufgaben in der Grundschule, der zur Bewertung des schrittweisen Denkens in Sprachmodellen verwendet wird.

Der Prozess der Aufteilung von Text in Token zur Modelleingabe.