Kvíz spojený s průvodcem · Střední úroveň
BERTScore a kvíz sémantického hodnocení
Kontroluje kontextovou shodu tokenů, přesnost a směr vyvolání, vážení IDF a změnu základního měřítka při vyhodnocování sémantického textu.
Otázka 1 z 8
Jakou základní slabinu BLEU a ROUGE řeší BERTScore?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jakou základní slabinu BLEU a ROUGE řeší BERTScore?
- Penalizují platné parafráze, které používají různá slova
- U dlouhých dokumentů běží příliš pomalu
- Pro každou partituru vyžadují lidské anotátory
- Pracují pouze na překladu, nikoli na shrnutí
- Jak BERTScore rozhodne, že dva tokeny jsou podobné?
- Počítáním sdílených postav
- Kosinovou podobností jejich kontextových vložení
- Kontrolou, zda se vyskytují ve stejném položce slovníku
- Přesným párováním řetězců
- Co to znamená, že vložení BERTScore jsou „kontextové“?
- Jsou počítány pouze jednou na slovo ve slovní zásobě
- Zcela ignorují okolní slova
- Stejné slovo má různé vektory v závislosti na jeho větě
- Jsou založeny na četnosti slov
- Které tři hodnoty obvykle uvádí BERTScore?
- BLEU, ROUGE a METEOR
- Přesnost, zapamatovatelnost a zmatenost
- Předpojatost, rozptyl a ztráta
- Přesnost, vyvolání a F1
- Jaký je účel volitelného vážení IDF v BERTScore?
- Snížit váhu velmi častým, méně informativním slovům
- Chcete-li urychlit výpočet vkládání
- Chcete-li převést skóre na procenta
- Přeložit text před bodováním
- Proč se někdy na BERTScore používá změna základního měřítka?
- Chcete-li odstranit potřebu referenčního textu
- Aby se nezpracované partitury rozšířily do lépe interpretovatelného rozsahu
- Chcete-li to převést na BLEU pro srovnání
- Chcete-li zcela odstranit model vkládání
- In BERTScore, which direction corresponds to recall?
- For each candidate token, find its best-matching reference token
- Compare sentence lengths only
- For each reference token, find its best-matching candidate token
- Count exact matching n-grams
- Why can IDF weighting change BERTScore’s token contribution?
- It replaces contextual embeddings with word counts
- It removes the reference text
- It forces every token to have identical similarity
- Common words receive less weight than more informative words