Kvíz spojený s průvodcem · Střední úroveň

Kvíz o přehodnocení modelů

Otestujte si role retrívrů a rerankerů, porovnejte křížové kodéry s bi-kodéry a prozkoumejte seznamové pořadí kandidátských sad.

Související vodicí cestyZměna pořadí modelů
Otázka 1 z 8

Jaká je práce rerankera v typickém dvoufázovém vyhledávacím procesu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je práce rerankera v typickém dvoufázovém vyhledávacím procesu?
    • Chcete-li znovu ohodnotit a uspořádat užší seznam relevantních kandidátů
    • Vytáhnout počáteční kandidáty z milionů dokumentů
    • K ukládání dokumentů do databáze
    • Vygenerovat konečnou odpověď v přirozeném jazyce
  2. Besides MS MARCO, on which dataset did Nogueira and Cho report strong results for their BERT passage reranker?
    • ImageNet
    • TREC-CAR
    • LibriSpeech
    • SQuAD only
  3. Proč nelze použít reranker křížového kodéru k přímému prohledávání milionů dokumentů?
    • Funguje pouze na obrázky
    • Neumí číst text
    • Jeho skóre musí být počítáno nově pro každý pár dotaz-dokument, což je příliš pomalé v měřítku
    • Nevyžaduje vůbec žádné výpočty
  4. Jaká je hlavní výhoda bi-kodéru oproti křížovému kodéru?
    • Je přesnější v jemnozrnné relevanci
    • Vždy perfektně změní pořadí výsledků
    • Nepotřebuje žádná tréninková data
    • Jeho vložení dokumentů lze předem vypočítat, takže načítání je rychlé a škálovatelné
  5. How can a reranker affect context quality in a retrieval-augmented generation pipeline?
    • It can move more relevant retrieved candidates higher in the context shortlist, but does not guarantee correctness
    • It ensures every retrieved passage is factually correct
    • It creates missing documents in the corpus
    • It removes the need to evaluate retrieval
  6. In listwise reranking, what does the model consider together?
    • Only one document with no query
    • A query and a set of candidate documents when deciding their ordering
    • Each document embedding before any candidate retrieval
    • A single relevance label for the full training corpus
  7. What should a team verify before interpreting reranker scores as probabilities?
    • Whether every score is above zero
    • Whether the first-stage retriever was removed
    • Whether the scores have been calibrated and evaluated for that use
    • Whether the model has more parameters than the retriever
  8. What limitation does a reranker inherit from the first-stage retrieval system?
    • It always returns a calibrated probability
    • It removes the need for retrieval
    • It guarantees a correct generated answer
    • It cannot promote a relevant document that was never included in the candidate set