Quiz dotyczący wskaźników oceny ROUGE i BLEU

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Która metryka została pierwotnie zaprojektowana do tłumaczenia maszynowego i kładzie nacisk na precyzję?
   • NIEBIESKI
   • RÓŻ
   • BERTScore
   • Tylko F1
2. Na czym przede wszystkim skupia się ROUGE?
   • Precyzja
   • Przypomnij sobie
   • Opóźnienie
   • Rozmiar modelu
3. Czemu zapobiega kara za zwięzłość BLEU?
   • Tworzenie zbyt długich wyników
   • Używanie rzadkich słów
   • Graj wynik z bardzo krótkimi wynikami
   • Powtarzanie tego samego słowa
4. Co mierzy ROUGE-L?
   • Liczba liter w wynikach
   • Opóźnienie w milisekundach
   • Największa zastosowana szybkość uczenia się
   • Najdłuższy wspólny podciąg między kandydatem i odniesieniem
5. Jakie jest kluczowe wspólne ograniczenie zarówno BLEU, jak i ROUGE?
   • Mierzą jedynie powierzchniowe nakładanie się n-gramów i pomijają parafrazę lub znaczenie
   • Do obliczeń wymagają procesorów graficznych
   • Nie radzą sobie z tekstem w języku angielskim
   • Nie potrzebują tekstu referencyjnego
6. W jaki sposób BLEU uniemożliwia systemowi manipulowanie wynikiem poprzez powtarzanie n-gramów o wysokiej częstotliwości?
   • Ignoruje wszystkie powtarzające się słowa
   • Przycina każdą kandydującą liczbę n-gramów do maksymalnej liczby w odniesieniach
   • Liczy się tylko pierwsze zdanie
   • Karze każde powtórzenie do zera
7. When does BLEU’s brevity penalty reduce a candidate’s score?
   • When the candidate includes a unigram match
   • When the reference contains more than four words
   • When the candidate is shorter than the reference length
   • When the candidate uses a paraphrase
8. Why does BLEU take a geometric mean across n-gram precisions?
   • It converts precision into a confidence interval
   • It guarantees semantic equivalence
   • It removes the need for reference text
   • A low score at one n-gram order can substantially lower the combined score