Термін глосарію AI

Що таке SentencePiece?

Визначення

Незалежний від мови токенізатор, який вивчає одиниці підслів безпосередньо з необробленого тексту без попереднього розбиття на пробіли.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

CLIPАрхітектура мультимодальної моделі, яка вивчає спільні представлення між текстом і зображеннями.Постійне навчанняПідходи до навчання, які дозволяють моделі продовжувати навчатися на нових даних, не забуваючи попередні знання.Навчання в контекстіЗдатність моделі слідувати шаблонам із прикладів, наданих безпосередньо в підказці.Класифікація намірівПрогнозування мети користувача на основі текстового запиту для його правильного маршрутизації.Велика мовна модель (LLM)Мовна модель, навчена на масивних текстових корпусах для створення та аналізу тексту.ТокенФрагмент тексту, оброблений мовними моделями, наприклад фрагмент слова або символ.

Дізнайтеся більше в наших безкоштовних посібниках

SentencePiece Tokenization

Дивіться також

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search