Тест за прекласиране на модели

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. В типичен двуетапен конвейер за извличане, каква е работата на реранкера?
   • За повторно оценяване и пренареждане на кратък списък от кандидати за уместност
   • Да изтеглите първоначалните кандидати от милиони документи
   • За съхраняване на документи в база данни
   • За генериране на окончателния отговор на естествен език
2. Besides MS MARCO, on which dataset did Nogueira and Cho report strong results for their BERT passage reranker?
   • ImageNet
   • TREC-CAR
   • LibriSpeech
   • SQuAD only
3. Защо не може да се използва повторно класиране на кръстосано кодиране за директно търсене в милиони документи?
   • Работи само върху изображения
   • Не може да чете текст
   • Неговите резултати трябва да бъдат пресметнати за всяка двойка заявка-документ, което е твърде бавно в мащаб
   • Изобщо не изисква изчисления
4. Какво е основното предимство на би-енкодера пред кръстосания енкодер?
   • Той е по-точен при фина релевантност
   • Винаги пренарежда резултатите перфектно
   • Не се нуждае от данни за обучение
   • Неговите вградени документи могат да бъдат предварително изчислени, което прави извличането бързо и мащабируемо
5. How can a reranker affect context quality in a retrieval-augmented generation pipeline?
   • It can move more relevant retrieved candidates higher in the context shortlist, but does not guarantee correctness
   • It ensures every retrieved passage is factually correct
   • It creates missing documents in the corpus
   • It removes the need to evaluate retrieval
6. In listwise reranking, what does the model consider together?
   • Only one document with no query
   • A query and a set of candidate documents when deciding their ordering
   • Each document embedding before any candidate retrieval
   • A single relevance label for the full training corpus
7. What should a team verify before interpreting reranker scores as probabilities?
   • Whether every score is above zero
   • Whether the first-stage retriever was removed
   • Whether the scores have been calibrated and evaluated for that use
   • Whether the model has more parameters than the retriever
8. What limitation does a reranker inherit from the first-stage retrieval system?
   • It always returns a calibrated probability
   • It removes the need for retrieval
   • It guarantees a correct generated answer
   • It cannot promote a relevant document that was never included in the candidate set