モデルの再ランキングに関するクイズ

クイズに答えると、答えと解説が表示されます。

1. 典型的な 2 段階の取得パイプラインでは、リランカーの仕事は何でしょうか?
   • 関連性を考慮して候補者の最終リストを再スコア化し、並べ替えるには
   • 数百万の文書から最初の候補を抽出するには
   • ドキュメントをデータベースに保存するには
   • 最終的な自然言語の答えを生成するには
2. Besides MS MARCO, on which dataset did Nogueira and Cho report strong results for their BERT passage reranker?
   • イメージネット
   • TREC-CAR
   • リブスピーチ
   • SQuAD only
3. クロスエンコーダ リランカーを使用して数百万のドキュメントを直接検索できないのはなぜですか?
   • 画像に対してのみ機能します
   • 文字が読めない
   • スコアはクエリとドキュメントのペアごとに新たに計算する必要があり、大規模化すると遅すぎます。
   • 計算はまったく必要ありません
4. クロスエンコーダーと比較したバイエンコーダーの主な利点は何ですか?
   • きめ細かい関連性でより正確になります
   • 常に結果を完璧に並べ替えます
   • トレーニングデータは必要ありません
   • ドキュメントの埋め込みを事前に計算できるため、検索が高速かつスケーラブルになります。
5. How can a reranker affect context quality in a retrieval-augmented generation pipeline?
   • It can move more relevant retrieved candidates higher in the context shortlist, but does not guarantee correctness
   • It ensures every retrieved passage is factually correct
   • It creates missing documents in the corpus
   • It removes the need to evaluate retrieval
6. In listwise reranking, what does the model consider together?
   • Only one document with no query
   • A query and a set of candidate documents when deciding their ordering
   • Each document embedding before any candidate retrieval
   • A single relevance label for the full training corpus
7. What should a team verify before interpreting reranker scores as probabilities?
   • Whether every score is above zero
   • Whether the first-stage retriever was removed
   • Whether the scores have been calibrated and evaluated for that use
   • Whether the model has more parameters than the retriever
8. What limitation does a reranker inherit from the first-stage retrieval system?
   • It always returns a calibrated probability
   • It removes the need for retrieval
   • It guarantees a correct generated answer
   • It cannot promote a relevant document that was never included in the candidate set