Глоссарий терминов искусственного интеллекта

Что такое Токен?

Определение

Фрагмент текста, обрабатываемый языковыми моделями, например фрагмент слова или символ.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

Генеративный ИИСистемы искусственного интеллекта, которые создают новый контент, такой как текст, изображения, аудио, видео или код.Модель большого языка (LLM)Языковая модель, обученная на массивных текстовых корпусах для генерации и анализа текста.Мультимодальная модельМодель, которая может обрабатывать или генерировать несколько типов данных, таких как текст, изображение и аудио.ПредложениеЧастьНезависимый от языка токенизатор, который изучает единицы подслова непосредственно из необработанного текста без предварительного разделения на пробелы.GSM8KЭталон математических словесных задач в начальной школе, используемый для оценки пошаговых рассуждений в языковых моделях.ТокенизацияПроцесс разделения текста на токены для ввода модели.

Узнайте больше в наших бесплатных руководствах.

SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction

См. также

TemperatureSystem PromptTool UseSynthetic DataTop-k SamplingSupervised LearningTop-p (Nucleus) SamplingSparse Model