Викторина, связанная с руководством · Средний Уровень

Викторина по оценочным показателям ROUGE и BLEU

Проверяет точность и отсечение BLEU, отзыв ROUGE и перекрытие последовательностей, а также почему метрики n-грамм пропускают семантически действительные парафразы.

Связанные направляющие путиПоказатели оценки Rouge And Bleu
Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какой показатель изначально был разработан для машинного перевода и учитывает точность?
    • БЛЮ
    • РУЖА
    • BERTScore
    • только F1
  2. На что в первую очередь ориентирована компания ROUGE?
    • Точность
    • Напомним
    • Задержка
    • Размер модели
  3. Что предотвращает штраф за краткость BLEU?
    • Создание слишком длинных выходных данных
    • Использование редких слов
    • Игра в счет с очень короткими выводами
    • Повторение одного и того же слова
  4. Что измеряет ROUGE-L?
    • Количество букв в выводе
    • Задержка в миллисекундах
    • Самая большая используемая скорость обучения
    • Самая длинная общая подпоследовательность между кандидатом и ссылкой.
  5. В чем заключается ключевое общее ограничение BLEU и ROUGE?
    • Они измеряют только поверхностное перекрытие n-грамм и упускают парафраз или смысл.
    • Им требуются графические процессоры для вычислений
    • Они не могут обрабатывать английский текст
    • Им не нужен справочный текст
  6. Как BLEU не позволяет системе подтасовать счет, повторяя высокочастотную n-грамму?
    • Он игнорирует все повторяющиеся слова
    • Он ограничивает количество n-грамм каждого кандидата до максимального значения в ссылках.
    • учитывается только первое предложение
    • Он наказывает любое повторение до нуля.
  7. When does BLEU’s brevity penalty reduce a candidate’s score?
    • When the candidate includes a unigram match
    • When the reference contains more than four words
    • When the candidate is shorter than the reference length
    • When the candidate uses a paraphrase
  8. Why does BLEU take a geometric mean across n-gram precisions?
    • It converts precision into a confidence interval
    • It guarantees semantic equivalence
    • It removes the need for reference text
    • A low score at one n-gram order can substantially lower the combined score