Що є BPE (кодування пари байтів)?

Процес поділу тексту на маркери для введення моделі.

Технологія, яка перетворює текст із зображень або відсканованих зображень на машиночитаний текст.

Стратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.

Основний навчальний алгоритм, який оновлює вагові коефіцієнти моделі шляхом передачі помилок передбачення назад через мережу.

Модель, яка кодує запити та документи в окремі вектори, щоб їх можна було швидко порівнювати в масштабі.

Алгоритм декодування, який зберігає декілька верхніх послідовностей-кандидатів на кожному кроці, щоб знайти результати з вищою ймовірністю.