Термін глосарію AI

Що є SentencePiece?

Визначення

Незалежний від мови токенізатор, який вивчає одиниці підслів безпосередньо з необробленого тексту без попереднього розбиття на пробіли.

Споріднені терміни

CLIP
Архітектура мультимодальної моделі, яка вивчає спільні представлення між текстом і зображеннями.
Постійне навчання
Підходи до навчання, які дозволяють моделі продовжувати навчатися на нових даних, не забуваючи попередні знання.
Навчання в контексті
Здатність моделі слідувати шаблонам із прикладів, наданих безпосередньо в підказці.
Класифікація намірів
Прогнозування мети користувача на основі текстового запиту для його правильного маршрутизації.
Велика мовна модель (LLM)
Мовна модель, навчена на масивних текстових корпусах для створення та аналізу тексту.
Токен
Фрагмент тексту, оброблений мовними моделями, наприклад фрагмент слова або символ.

Дізнайтеся більше в наших безкоштовних посібниках

SentencePiece Tokenization

See also

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту