What is Token? Definition | AI Understanding

Визначення

Фрагмент тексту, оброблений мовними моделями, наприклад фрагмент слова або символ.

Споріднені терміни

Генеративний ШІ

Системи штучного інтелекту, які створюють новий вміст, наприклад текст, зображення, аудіо, відео чи код.

Велика мовна модель (LLM)

Мовна модель, навчена на масивних текстових корпусах для створення та аналізу тексту.

Мультимодальна модель

Модель, яка може обробляти або генерувати кілька типів даних, таких як текст, зображення та аудіо.

Незалежний від мови токенізатор, який вивчає одиниці підслів безпосередньо з необробленого тексту без попереднього розбиття на пробіли.

Тест початкових шкільних математичних текстових задач, які використовуються для оцінки покрокових міркувань у мовних моделях.

Токенізація

Процес поділу тексту на маркери для введення моделі.

Дізнайтеся більше в наших безкоштовних посібниках

SentencePiece Tokenization WordPiece Tokenization Tokenizer-Free Byte-Level Models Speculative Streaming and Multi-Token Prediction

See also

Temperature System Prompt Tool Use Synthetic Data Top-k Sampling Supervised Learning Top-p (Nucleus) Sampling Sparse Model

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту