Вікторина, пов’язана з посібником · Середній Рівень

Тест BERTScore та семантичного оцінювання

Перевіряє відповідність контекстних токенів, точність і напрямок відкликання, зважування IDF і масштабування базової лінії в семантичній оцінці тексту.

Пов'язані напрямні шляхиBertscore і семантична оцінка
Питання 1 з 8

Яку основну слабкість BLEU і ROUGE усуває BERTScore?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яку основну слабкість BLEU і ROUGE усуває BERTScore?
    • Вони карають дійсні перефрази, у яких використовуються інші слова
    • Вони надто повільно працюють на довгих документах
    • Їм потрібні людські анотатори для кожної партитури
    • Вони працюють лише над перекладом, а не конспектуванням
  2. Як BERTScore вирішує, що два токени схожі?
    • Підраховуючи спільні символи
    • За косинусною подібністю їх контекстних вкладень
    • Перевіривши, чи з’являються вони в одній статті словника
    • За точним збігом рядка
  3. Що означає, що вбудовування BERTScore є «контекстними»?
    • Вони обчислюються лише один раз на слово словника
    • Вони повністю ігнорують навколишні слова
    • Те саме слово отримує різні вектори залежно від його речення
    • Вони засновані на підрахунку частоти слів
  4. Які три значення зазвичай повідомляє BERTScore?
    • BLEU, ROUGE і METEOR
    • Точність, запам'ятовування та здивування
    • Зміщення, дисперсія та втрати
    • Точність, відкликання та F1
  5. Яка мета додаткового зважування IDF у BERTScore?
    • Щоб зменшити вагу дуже поширених, менш інформативних слів
    • Щоб прискорити обчислення вбудовування
    • Для переведення балів у відсотки
    • Перекласти текст перед виставленням балів
  6. Чому зміна базового рівня іноді застосовується до BERTScore?
    • Щоб усунути необхідність довідкового тексту
    • Щоб розповсюдити необроблені бали в діапазоні, який краще інтерпретувати
    • Щоб конвертувати його в BLEU для порівняння
    • Щоб повністю виключити модель вбудовування
  7. In BERTScore, which direction corresponds to recall?
    • For each candidate token, find its best-matching reference token
    • Compare sentence lengths only
    • For each reference token, find its best-matching candidate token
    • Count exact matching n-grams
  8. Why can IDF weighting change BERTScore’s token contribution?
    • It replaces contextual embeddings with word counts
    • It removes the reference text
    • It forces every token to have identical similarity
    • Common words receive less weight than more informative words