Kvíz spojený s průvodcem · Střední úroveň

BERTScore a kvíz sémantického hodnocení

Kontroluje kontextovou shodu tokenů, přesnost a směr vyvolání, vážení IDF a změnu základního měřítka při vyhodnocování sémantického textu.

Související vodicí cestyBertscore a sémantické hodnocení
Otázka 1 z 8

Jakou základní slabinu BLEU a ROUGE řeší BERTScore?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jakou základní slabinu BLEU a ROUGE řeší BERTScore?
    • Penalizují platné parafráze, které používají různá slova
    • U dlouhých dokumentů běží příliš pomalu
    • Pro každou partituru vyžadují lidské anotátory
    • Pracují pouze na překladu, nikoli na shrnutí
  2. Jak BERTScore rozhodne, že dva tokeny jsou podobné?
    • Počítáním sdílených postav
    • Kosinovou podobností jejich kontextových vložení
    • Kontrolou, zda se vyskytují ve stejném položce slovníku
    • Přesným párováním řetězců
  3. Co to znamená, že vložení BERTScore jsou „kontextové“?
    • Jsou počítány pouze jednou na slovo ve slovní zásobě
    • Zcela ignorují okolní slova
    • Stejné slovo má různé vektory v závislosti na jeho větě
    • Jsou založeny na četnosti slov
  4. Které tři hodnoty obvykle uvádí BERTScore?
    • BLEU, ROUGE a METEOR
    • Přesnost, zapamatovatelnost a zmatenost
    • Předpojatost, rozptyl a ztráta
    • Přesnost, vyvolání a F1
  5. Jaký je účel volitelného vážení IDF v BERTScore?
    • Snížit váhu velmi častým, méně informativním slovům
    • Chcete-li urychlit výpočet vkládání
    • Chcete-li převést skóre na procenta
    • Přeložit text před bodováním
  6. Proč se někdy na BERTScore používá změna základního měřítka?
    • Chcete-li odstranit potřebu referenčního textu
    • Aby se nezpracované partitury rozšířily do lépe interpretovatelného rozsahu
    • Chcete-li to převést na BLEU pro srovnání
    • Chcete-li zcela odstranit model vkládání
  7. In BERTScore, which direction corresponds to recall?
    • For each candidate token, find its best-matching reference token
    • Compare sentence lengths only
    • For each reference token, find its best-matching candidate token
    • Count exact matching n-grams
  8. Why can IDF weighting change BERTScore’s token contribution?
    • It replaces contextual embeddings with word counts
    • It removes the reference text
    • It forces every token to have identical similarity
    • Common words receive less weight than more informative words