Kuis Pemeringkatan Ulang Model

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Dalam jalur pengambilan dua tahap pada umumnya, apa tugas reranker?
   • Untuk menilai ulang dan menyusun ulang daftar calon yang relevan
   • Untuk menarik kandidat awal dari jutaan dokumen
   • Untuk menyimpan dokumen dalam database
   • Untuk menghasilkan jawaban akhir dalam bahasa alami
2. Besides MS MARCO, on which dataset did Nogueira and Cho report strong results for their BERT passage reranker?
   • GambarNet
   • TREC-CAR
   • PerpustakaanPidato
   • SQuAD only
3. Mengapa reranker lintas-encoder tidak dapat digunakan untuk mencari jutaan dokumen secara langsung?
   • Ini hanya berfungsi pada gambar
   • Itu tidak bisa membaca teks
   • Skornya harus dihitung baru untuk setiap pasangan dokumen kueri, yang skalanya terlalu lambat
   • Itu tidak memerlukan perhitungan sama sekali
4. Apa keunggulan utama bi-encoder dibandingkan cross-encoder?
   • Ini lebih akurat pada relevansi yang sangat rinci
   • Itu selalu menyusun ulang hasil dengan sempurna
   • Tidak memerlukan data pelatihan
   • Penyematan dokumennya dapat dihitung sebelumnya, membuat pengambilan menjadi cepat dan terukur
5. How can a reranker affect context quality in a retrieval-augmented generation pipeline?
   • It can move more relevant retrieved candidates higher in the context shortlist, but does not guarantee correctness
   • It ensures every retrieved passage is factually correct
   • It creates missing documents in the corpus
   • It removes the need to evaluate retrieval
6. In listwise reranking, what does the model consider together?
   • Only one document with no query
   • A query and a set of candidate documents when deciding their ordering
   • Each document embedding before any candidate retrieval
   • A single relevance label for the full training corpus
7. What should a team verify before interpreting reranker scores as probabilities?
   • Whether every score is above zero
   • Whether the first-stage retriever was removed
   • Whether the scores have been calibrated and evaluated for that use
   • Whether the model has more parameters than the retriever
8. What limitation does a reranker inherit from the first-stage retrieval system?
   • It always returns a calibrated probability
   • It removes the need for retrieval
   • It guarantees a correct generated answer
   • It cannot promote a relevant document that was never included in the candidate set