Глоссарий терминов искусственного интеллекта

Что такое ПредложениеЧасть?

Определение

Независимый от языка токенизатор, который изучает единицы подслова непосредственно из необработанного текста без предварительного разделения на пробелы.

Связанные термины

КЛИП
Архитектура мультимодальной модели, которая изучает общие представления текста и изображений.
Постоянное обучение
Подходы к обучению, которые позволяют модели продолжать обучение на новых данных, не забывая при этом предыдущие знания.
Контекстное обучение
Способность модели следовать шаблонам из примеров, представленных непосредственно в подсказке.
Классификация намерений
Прогнозирование цели пользователя на основе текстового запроса для его правильной маршрутизации.
Модель большого языка (LLM)
Языковая модель, обученная на массивных текстовых корпусах для генерации и анализа текста.
Токен
Фрагмент текста, обрабатываемый языковыми моделями, например фрагмент слова или символ.

Узнайте больше в наших бесплатных руководствах.

SentencePiece Tokenization

См. также

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту