Глоссарий терминов искусственного интеллекта

Что такое ПредложениеЧасть?

Определение

Независимый от языка токенизатор, который изучает единицы подслова непосредственно из необработанного текста без предварительного разделения на пробелы.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

КЛИПАрхитектура мультимодальной модели, которая изучает общие представления текста и изображений.Постоянное обучениеПодходы к обучению, которые позволяют модели продолжать обучение на новых данных, не забывая при этом предыдущие знания.Контекстное обучениеСпособность модели следовать шаблонам из примеров, представленных непосредственно в подсказке.Классификация намеренийПрогнозирование цели пользователя на основе текстового запроса для его правильной маршрутизации.Модель большого языка (LLM)Языковая модель, обученная на массивных текстовых корпусах для генерации и анализа текста.ТокенФрагмент текста, обрабатываемый языковыми моделями, например фрагмент слова или символ.

Узнайте больше в наших бесплатных руководствах.

SentencePiece Tokenization

См. также

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search