Глоссарий терминов искусственного интеллекта

Что такое BPE (кодирование пары байтов)?

Определение

Алгоритм токенизации подслов, который объединяет наиболее часто встречающиеся пары символов в токены многократного использования.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

ТокенизацияПроцесс разделения текста на токены для ввода модели.OCR (оптическое распознавание символов)Технология, которая преобразует текст на изображениях или отсканированных изображениях в машиночитаемый текст.Топ-k выборкаСтратегия декодирования, которая производит выборку только из k наиболее вероятных следующих токенов.Обратное распространение ошибкиОсновной алгоритм обучения, который обновляет веса модели путем распространения ошибок прогнозирования обратно по сети.Би-энкодерМодель, которая кодирует запросы и документы в отдельные векторы, чтобы их можно было быстро сравнивать в масштабе.Поиск лучаАлгоритм декодирования, который сохраняет несколько верхних последовательностей-кандидатов на каждом этапе для поиска выходных данных с более высокой вероятностью.

Узнайте больше в наших бесплатных руководствах.

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

См. также

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker