Що таке BPE (кодування пари байтів)?

Процес поділу тексту на маркери для введення моделі.

Технологія, яка перетворює текст із зображень або відсканованих зображень на машиночитаний текст.

Стратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.

Основний навчальний алгоритм, який оновлює вагові коефіцієнти моделі шляхом передачі помилок передбачення назад через мережу.

Модель, яка кодує запити та документи в окремі вектори, щоб їх можна було швидко порівнювати в масштабі.

Алгоритм декодування, який зберігає декілька верхніх послідовностей-кандидатів на кожному кроці, щоб знайти результати з вищою ймовірністю.