What is Token? Definition | AI Understanding

Definiție

O bucată de text procesată de modele de limbaj, cum ar fi un cuvânt sau un simbol.

Termeni înrudiți

Sisteme AI care produc conținut nou, cum ar fi text, imagini, audio, video sau cod.

Model de limbă mare (LLM)

Un model de limbaj instruit pe corpuri de text masive pentru a genera și analiza text.

Model multimodal

Un model care poate procesa sau genera mai multe tipuri de date, cum ar fi text, imagine și audio.

Un tokenizer agnostic de limbă care învață unitățile de subcuvinte direct din textul brut fără a împărți în prealabil spațiile albe.

Un punct de referință al problemelor de cuvinte de matematică din școală, folosit pentru a evalua raționamentul pas cu pas în modelele lingvistice.

Procesul de împărțire a textului în jetoane pentru introducerea modelului.

Aflați mai multe în ghidurile noastre gratuite

SentencePiece Tokenization WordPiece Tokenization Tokenizer-Free Byte-Level Models Speculative Streaming and Multi-Token Prediction

Vezi și

Temperature System Prompt Tool Use Synthetic Data Top-k Sampling Supervised Learning Top-p (Nucleus) Sampling Sparse Model

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite