Co je to Token? Definice | AI Understanding

Definice

Část textu zpracovaná jazykovými modely, jako je slovo nebo symbol.

Související pojmy

Generativní AI

Systémy umělé inteligence, které vytvářejí nový obsah, jako je text, obrázky, zvuk, video nebo kód.

Velký jazykový model (LLM)

Jazykový model trénovaný na masivních textových korpusech pro generování a analýzu textu.

Multimodální model

Model, který dokáže zpracovat nebo generovat více typů dat, jako je text, obrázek a zvuk.

Jazykově agnostický tokenizér, který se učí jednotky podslov přímo z nezpracovaného textu bez předběžného dělení na mezery.

Srovnávací test slovních úloh z matematiky pro základní školy používaný k vyhodnocení postupného uvažování v jazykových modelech.

Proces rozdělení textu na tokeny pro zadání modelu.

Více se dozvíte v našich bezplatných průvodcích

SentencePiece Tokenization WordPiece Tokenization Tokenizer-Free Byte-Level Models Speculative Streaming and Multi-Token Prediction

Viz také

Temperature System Prompt Tool Use Synthetic Data Top-k Sampling Supervised Learning Top-p (Nucleus) Sampling Sparse Model

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI