Kvíz spojený s průvodcem · Střední úroveň
Kvíz o přehodnocení modelů
Otestujte si role retrívrů a rerankerů, porovnejte křížové kodéry s bi-kodéry a prozkoumejte seznamové pořadí kandidátských sad.
Otázka 1 z 8
Jaká je práce rerankera v typickém dvoufázovém vyhledávacím procesu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je práce rerankera v typickém dvoufázovém vyhledávacím procesu?
- Chcete-li znovu ohodnotit a uspořádat užší seznam relevantních kandidátů
- Vytáhnout počáteční kandidáty z milionů dokumentů
- K ukládání dokumentů do databáze
- Vygenerovat konečnou odpověď v přirozeném jazyce
- Besides MS MARCO, on which dataset did Nogueira and Cho report strong results for their BERT passage reranker?
- ImageNet
- TREC-CAR
- LibriSpeech
- SQuAD only
- Proč nelze použít reranker křížového kodéru k přímému prohledávání milionů dokumentů?
- Funguje pouze na obrázky
- Neumí číst text
- Jeho skóre musí být počítáno nově pro každý pár dotaz-dokument, což je příliš pomalé v měřítku
- Nevyžaduje vůbec žádné výpočty
- Jaká je hlavní výhoda bi-kodéru oproti křížovému kodéru?
- Je přesnější v jemnozrnné relevanci
- Vždy perfektně změní pořadí výsledků
- Nepotřebuje žádná tréninková data
- Jeho vložení dokumentů lze předem vypočítat, takže načítání je rychlé a škálovatelné
- How can a reranker affect context quality in a retrieval-augmented generation pipeline?
- It can move more relevant retrieved candidates higher in the context shortlist, but does not guarantee correctness
- It ensures every retrieved passage is factually correct
- It creates missing documents in the corpus
- It removes the need to evaluate retrieval
- In listwise reranking, what does the model consider together?
- Only one document with no query
- A query and a set of candidate documents when deciding their ordering
- Each document embedding before any candidate retrieval
- A single relevance label for the full training corpus
- What should a team verify before interpreting reranker scores as probabilities?
- Whether every score is above zero
- Whether the first-stage retriever was removed
- Whether the scores have been calibrated and evaluated for that use
- Whether the model has more parameters than the retriever
- What limitation does a reranker inherit from the first-stage retrieval system?
- It always returns a calibrated probability
- It removes the need for retrieval
- It guarantees a correct generated answer
- It cannot promote a relevant document that was never included in the candidate set