Викторина, связанная с руководством · Средний Уровень

Викторина по BERTScore и семантической оценке

Проверяет контекстное соответствие токенов, точность и направление отзыва, взвешивание IDF и масштабирование базовой линии при оценке семантического текста.

Связанные направляющие путиBertscore и семантическая оценка
Вопрос 1 из 8

Какой основной недостаток BLEU и ROUGE устраняет BERTScore?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какой основной недостаток BLEU и ROUGE устраняет BERTScore?
    • Они наказывают действительные парафразы, в которых используются разные слова.
    • Они работают слишком медленно с длинными документами.
    • Им нужны люди-аннотаторы для каждой оценки.
    • Они работают только над переводом, а не обобщением
  2. Как BERTScore определяет, что два токена похожи?
    • Путем подсчета общих символов
    • По косинусному подобию их контекстных вложений
    • Проверяя, появляются ли они в одной словарной статье
    • По точному совпадению строк
  3. Что означает, что вложения BERTScore являются «контекстными»?
    • Они вычисляются только один раз для каждого словарного слова.
    • Они полностью игнорируют окружающие слова
    • Одно и то же слово получает разные векторы в зависимости от его предложения.
    • Они основаны на подсчете частоты слов.
  4. Какие три значения обычно сообщает BERTScore?
    • СИНИЙ, РУЖ и МЕТЕОР
    • Точность, отзыв и недоумение
    • Смещение, дисперсия и потери
    • Точность, отзыв и F1
  5. Какова цель дополнительного взвешивания IDF в BERTScore?
    • Чтобы уменьшить вес очень распространенных, менее информативных слов.
    • Чтобы ускорить встраивание вычислений
    • Чтобы преобразовать баллы в проценты
    • Чтобы перевести текст перед оценкой
  6. Почему к BERTScore иногда применяется масштабирование базовой линии?
    • Чтобы исключить необходимость в ссылочном тексте
    • Распределить необработанные оценки по более интерпретируемому диапазону.
    • Чтобы преобразовать его в BLEU для сравнения
    • Чтобы полностью исключить модель внедрения
  7. In BERTScore, which direction corresponds to recall?
    • For each candidate token, find its best-matching reference token
    • Compare sentence lengths only
    • For each reference token, find its best-matching candidate token
    • Count exact matching n-grams
  8. Why can IDF weighting change BERTScore’s token contribution?
    • It replaces contextual embeddings with word counts
    • It removes the reference text
    • It forces every token to have identical similarity
    • Common words receive less weight than more informative words