What is Token? Definition | AI Understanding

Meghatározás

Nyelvi modellekkel feldolgozott szövegrész, például szódarab vagy szimbólum.

Kapcsolódó kifejezések

AI rendszerek, amelyek új tartalmat, például szöveget, képeket, hangot, videót vagy kódot állítanak elő.

Nagy nyelvű modell (LLM)

Hatalmas szövegkorpusokra kiképzett nyelvi modell szöveg generálására és elemzésére.

Multimodális modell

Olyan modell, amely többféle adattípust, például szöveget, képet és hangot képes feldolgozni vagy generálni.

Nyelv-agnosztikus tokenizáló, amely közvetlenül a nyers szövegből tanulja meg az alszavak egységeit anélkül, hogy szóközönként felosztásra kerülne.

Az általános iskolai matematikai szöveges feladatok referenciaértéke, amelyet a nyelvi modellek lépésről lépésre történő érvelésének értékelésére használnak.

A szöveg tokenekre való felosztásának folyamata a modellbevitelhez.

Tudjon meg többet ingyenes útmutatóinkból

SentencePiece Tokenization WordPiece Tokenization Tokenizer-Free Byte-Level Models Speculative Streaming and Multi-Token Prediction

See also

Temperature System Prompt Tool Use Synthetic Data Top-k Sampling Supervised Learning Top-p (Nucleus) Sampling Sparse Model

Böngésszen a teljes AI szószedetben Fedezze fel az összes ingyenes AI-útmutatót