What is Token? Definition | AI Understanding

Definicja

Fragment tekstu przetwarzany przez modele językowe, taki jak fragment słowa lub symbol.

Powiązane terminy

Systemy sztucznej inteligencji, które tworzą nową treść, taką jak tekst, obrazy, dźwięk, wideo lub kod.

Model dużego języka (LLM)

Model językowy wyszkolony na ogromnych korpusach tekstowych w celu generowania i analizowania tekstu.

Model multimodalny

Model, który może przetwarzać lub generować wiele typów danych, takich jak tekst, obraz i dźwięk.

Fragment zdania

Tokenizator niezależny od języka, który uczy się jednostek podsłów bezpośrednio z nieprzetworzonego tekstu bez wstępnego dzielenia na białe znaki.

Test porównawczy problemów tekstowych z matematyki w szkole podstawowej, używany do oceny rozumowania krok po kroku w modelach językowych.

Proces dzielenia tekstu na tokeny na potrzeby wprowadzania danych modelu.

Dowiedz się więcej z naszych bezpłatnych przewodników

SentencePiece Tokenization WordPiece Tokenization Tokenizer-Free Byte-Level Models Speculative Streaming and Multi-Token Prediction

Zobacz także

Temperature System Prompt Tool Use Synthetic Data Top-k Sampling Supervised Learning Top-p (Nucleus) Sampling Sparse Model

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI