Викторина по поиску луча

Ответы и пояснения появляются по мере прохождения теста.

1. Что контролирует «ширина луча» (k) при поиске луча?
   • Сколько частичных последовательностей-кандидатов сохраняется на каждом этапе декодирования
   • Максимальная длина сгенерированной последовательности
   • Температура применительно к вероятностям
   • Размер словарного запаса модели
2. Чем лучевой поиск отличается от жадного декодирования?
   • Он всегда выбирает один токен с наибольшей вероятностью.
   • Он сохраняет несколько частичных последовательностей с высокими оценками вместо фиксации одной
   • Он выбирает токены случайным образом
   • Он полностью игнорирует вероятности токенов
3. Почему нормализация длины обычно применяется при поиске луча?
   • Чтобы ускорить генерацию
   • Для увеличения словарного запаса
   • Потому что суммирование логарифмических вероятностей смещает результаты в сторону более коротких последовательностей.
   • Чтобы добавить случайность к выводам
4. Для какой задачи особенно хорошо подходит поиск луча?
   • Открытое творческое повествование
   • Генерация максимально разнообразного случайного текста
   • Создание непредсказуемой поэзии
   • Машинный перевод, где желателен точный результат с высокой вероятностью.
5. Каков известный недостаток использования очень большой ширины луча для генерации с открытым концом?
   • Он может создавать более скучный, повторяющийся или ухудшенный текст.
   • Это гарантирует самый творческий результат
   • Это устраняет необходимость в какой-либо вероятностной модели.
   • Это заставляет модель игнорировать ввод
6. Как на каждом этапе поиск луча решает, каких кандидатов оставить?
   • По алфавитному порядку токенов
   • По совокупному баллу (сумме логарифмических вероятностей), сохраняя верхние k
   • Выбирая самых длинных кандидатов
   • Путем случайного отбора среди всех кандидатов
7. What problem does GNMT’s coverage penalty aim to reduce in translation?
   • Repeatedly encoding the same source vocabulary
   • The use of subword units
   • Output translations that fail to cover source words
   • The number of encoder layers
8. What does diverse beam search modify to encourage different candidate outputs?
   • It replaces the model probabilities with uniform random scores
   • It removes all but one candidate at the first step
   • It changes the training tokenizer after decoding
   • It penalizes similarity or overlap among candidates in different beam groups