Kuis terkait panduan · Sedang Tingkat
BERTScore dan Kuis Evaluasi Semantik
Memeriksa pencocokan token kontekstual, presisi dan arah perolehan, pembobotan IDF, dan penskalaan ulang dasar dalam evaluasi teks semantik.
Pertanyaan 1 dari 8
Apa kelemahan inti BLEU dan ROUGE yang diatasi BERTScore?
Pratinjau setiap pertanyaan8 pertanyaan
Jawaban dan penjelasan muncul saat Anda mengikuti kuis.
- Apa kelemahan inti BLEU dan ROUGE yang diatasi BERTScore?
- Mereka menghukum parafrase valid yang menggunakan kata-kata berbeda
- Mereka berjalan terlalu lambat pada dokumen yang panjang
- Mereka membutuhkan anotator manusia untuk setiap skor
- Mereka hanya mengerjakan penerjemahan, bukan ringkasan
- Bagaimana BERTScore memutuskan bahwa dua token itu serupa?
- Dengan menghitung karakter bersama
- Dengan kesamaan kosinus dari penyematan kontekstualnya
- Dengan memeriksa apakah keduanya muncul di entri kamus yang sama
- Dengan pencocokan string yang tepat
- Apa artinya penyematan BERTScore bersifat 'kontekstual'?
- Mereka dihitung hanya sekali per kata kosakata
- Mereka mengabaikan kata-kata di sekitarnya sepenuhnya
- Kata yang sama mendapat vektor yang berbeda bergantung pada kalimatnya
- Mereka didasarkan pada jumlah frekuensi kata
- Tiga nilai manakah yang biasanya dilaporkan BERTScore?
- BLEU, PEMERAH, dan METEOR
- Akurasi, ingatan, dan kebingungan
- Bias, varians, dan kerugian
- Presisi, recall, dan F1
- Apa tujuan pembobotan IDF opsional di BERTScore?
- Untuk mengurangi kata-kata yang sangat umum dan kurang informatif
- Untuk mempercepat komputasi penyematan
- Untuk mengubah skor menjadi persentase
- Untuk menerjemahkan teks sebelum mencetak gol
- Mengapa penskalaan ulang dasar terkadang diterapkan pada BERTScore?
- Untuk menghilangkan kebutuhan akan teks referensi
- Untuk membuat skor mentah tersebar ke rentang yang lebih dapat diinterpretasikan
- Untuk mengubahnya menjadi BLEU sebagai perbandingan
- Untuk menghilangkan model penyematan sepenuhnya
- In BERTScore, which direction corresponds to recall?
- For each candidate token, find its best-matching reference token
- Compare sentence lengths only
- For each reference token, find its best-matching candidate token
- Count exact matching n-grams
- Why can IDF weighting change BERTScore’s token contribution?
- It replaces contextual embeddings with word counts
- It removes the reference text
- It forces every token to have identical similarity
- Common words receive less weight than more informative words