Термін глосарію AI

Що таке BPE (кодування пари байтів)?

Визначення

Алгоритм токенізації підслова, який об’єднує найпоширеніші пари символів у багаторазово використовувані токени.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

ТокенізаціяПроцес поділу тексту на маркери для введення моделі.OCR (оптичне розпізнавання символів)Технологія, яка перетворює текст із зображень або відсканованих зображень на машиночитаний текст.Вибірка Top-kСтратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.Зворотне поширенняОсновний навчальний алгоритм, який оновлює вагові коефіцієнти моделі шляхом передачі помилок передбачення назад через мережу.Бі-кодувальникМодель, яка кодує запити та документи в окремі вектори, щоб їх можна було швидко порівнювати в масштабі.Пошук за променемАлгоритм декодування, який зберігає декілька верхніх послідовностей-кандидатів на кожному кроці, щоб знайти результати з вищою ймовірністю.

Дізнайтеся більше в наших безкоштовних посібниках

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

Дивіться також

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker