ДалееСледующее руководство
Поиск направляющего луча с ограничениями
Языковой ИИ
РУКОВОДСТВО ПО ЯЗЫКУ ИИ
Beam search is a decoding algorithm that retains a fixed number of high-scoring partial sequences at each step.
Прослушайте это руководствоОзвучено ИИ · ~2 min
It is used in sequence generation tasks, with results shaped by model scores and any normalization or penalties.
At each decoding step, beam search expands the current partial candidates and retains the top-scoring continuations. A wider beam explores more options but increases search cost and does not necessarily improve perceived quality. GNMT uses length normalization to mitigate short-output bias and a coverage penalty to encourage source-word coverage in translation. Diverse beam search modifies group selection to reduce redundant candidates.
A beam of width k keeps up to k partial sequences rather than only one greedy continuation.
GNMT used length normalization and a coverage penalty in its translation system.
Diverse beam search adds a penalty to reduce overlap among candidate sequences from beam groups.
For open-ended text, compare beam outputs with sampling because likelihood-ranked outputs can be repetitive or bland in the evaluated settings.
Select decoding criteria for the task and measure both search cost and output quality. For translation, report source coverage and reference-based metrics; for open-ended generation, include human evaluation where appropriate. The cited sources describe particular methods and experiments rather than a single universally best beam configuration.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Beam search is a decoding algorithm that retains a fixed number of high-scoring partial sequences at each step. It is used in sequence generation tasks, with results shaped by model scores and any normalization or penalties.
Ширина луча — это количество верхних частичных последовательностей, сохраняемых и расширяемых на каждом шаге; большая ширина исследует больше кандидатов.
Жадное декодирование на каждом этапе использует только верхний токен; защищает лучевой поиск, отслеживая несколько перспективных последовательностей одновременно.
Каждый дополнительный токен добавляет отрицательную логарифмическую вероятность, поэтому без нормализации более короткие последовательности несправедливо оцениваются выше.
Лучевой поиск превосходен, когда целью является единая точная и плавная передача, поэтому он стал стандартом при переводе.
Как ни странно, более широкие лучи при генерации нейронного текста часто отдают предпочтение общим, повторяющимся последовательностям, а не интересным.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Поиск направляющего луча с ограничениями
Языковой ИИ