Kuis Pengambilan Ulang Pemeringkatan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa peran reranker dalam jalur pengambilan?
   • Untuk menilai ulang sejumlah kecil kandidat sehingga hasil yang paling relevan naik ke posisi teratas
   • Untuk memindai seluruh korpus dari awal
   • Untuk menghasilkan dokumen baru
   • Untuk mengompres indeks pencarian
2. Apa yang membedakan cross-encoder dengan bi-encoder?
   • Pembuat enkode silang menyematkan kueri dan dokumen secara terpisah
   • Pembuat enkode silang menyatukan kueri dan dokumen sehingga perhatian membandingkannya secara bersamaan
   • Cross-encoder tidak dapat menggunakan transformator
   • Cross-encoder hanya berfungsi pada gambar
3. Mengapa pembuat enkode silang digunakan untuk pemeringkatan ulang, bukan pengambilan tahap pertama?
   • Itu tidak akurat
   • Mereka hanya menangani satu dokumen
   • Mereka terlalu lambat untuk menjalankan seluruh korpus karena vektor dokumen tidak dapat dihitung sebelumnya
   • Mereka tidak memerlukan perhitungan
4. Apa yang biasanya dioptimalkan oleh retriever tahap pertama?
   • Presisi di peringkat 1 saja
   • Menghasilkan jawaban bahasa alami
   • Menyusun ulang tepat lima dokumen
   • Mengingat dan mempercepat seluruh korpus
5. How can a reranker affect a RAG candidate set, and what can it not guarantee?
   • It can reorder retrieved candidates, but cannot add a missing passage or verify generated claims
   • It guarantees the most relevant source is present and every generated claim is correct
   • It replaces the first-stage retriever and searches the entire corpus
   • It makes retrieval precision and recall perfect
6. Manakah dari pendekatan berikut yang merupakan pendekatan pemeringkatan yang sedang berkembang?
   • Menghapus retriever dan menebak jawabannya
   • Menggunakan LLM sebagai pemeringkat daftar yang menjadi alasan seluruh kumpulan kandidat
   • Mengembalikan ke pemberian tag kata kunci manual saja
   • Mengganti trafo dengan penilaian acak
7. Which metric can assess whether the first-stage retriever includes relevant passages before reranking?
   • Image resolution of the generated answer
   • BLEU score of an unrelated translation
   • Recall of relevant candidates in the retrieved set
   • Number of model parameters in the reranker
8. Which metric did the Passage Re-ranking with BERT paper report a 27% relative improvement on for MS MARCO?
   • BLEU-4
   • ImageNet top-1 accuracy
   • Berarti kesalahan mutlak
   • MRR@10