모델 순위 재지정 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 일반적인 2단계 검색 파이프라인에서 reranker의 작업은 무엇입니까?
   • 관련성에 대한 최종 후보자 목록의 점수를 다시 매기고 재정렬하려면
   • 수백만 개의 문서에서 초기 후보를 추출하려면
   • 데이터베이스에 문서를 저장하려면
   • 최종 자연어 답변을 생성하려면
2. Besides MS MARCO, on which dataset did Nogueira and Cho report strong results for their BERT passage reranker?
   • 이미지넷
   • TREC-CAR
   • LibriSpeech
   • SQuAD only
3. 수백만 개의 문서를 직접 검색하는 데 크로스 인코더 리랭커를 사용할 수 없는 이유는 무엇입니까?
   • 이미지에서만 작동합니다.
   • 텍스트를 읽을 수 없습니다.
   • 점수는 각 쿼리-문서 쌍에 대해 새로 계산되어야 하는데, 이는 규모가 너무 느립니다.
   • 계산이 전혀 필요하지 않습니다.
4. 크로스 인코더에 비해 바이 인코더의 주요 장점은 무엇입니까?
   • 세밀한 관련성에서는 더 정확합니다.
   • 항상 결과를 완벽하게 재정렬합니다.
   • 훈련 데이터가 필요하지 않습니다.
   • 문서 임베딩을 미리 계산할 수 있어 검색이 빠르고 확장 가능합니다.
5. How can a reranker affect context quality in a retrieval-augmented generation pipeline?
   • It can move more relevant retrieved candidates higher in the context shortlist, but does not guarantee correctness
   • It ensures every retrieved passage is factually correct
   • It creates missing documents in the corpus
   • It removes the need to evaluate retrieval
6. In listwise reranking, what does the model consider together?
   • Only one document with no query
   • A query and a set of candidate documents when deciding their ordering
   • Each document embedding before any candidate retrieval
   • A single relevance label for the full training corpus
7. What should a team verify before interpreting reranker scores as probabilities?
   • Whether every score is above zero
   • Whether the first-stage retriever was removed
   • Whether the scores have been calibrated and evaluated for that use
   • Whether the model has more parameters than the retriever
8. What limitation does a reranker inherit from the first-stage retrieval system?
   • It always returns a calibrated probability
   • It removes the need for retrieval
   • It guarantees a correct generated answer
   • It cannot promote a relevant document that was never included in the candidate set