Quiz collegato alla guida · Medio Livello
Quiz sulla riclassificazione dei modelli
Testare i ruoli di retriever e reranker, confrontare cross-encoder con bi-encoder ed esaminare la classificazione listwise degli insiemi di candidati.
Domanda 1 di 8
In una tipica pipeline di recupero in due fasi, qual è il lavoro del reranker?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In una tipica pipeline di recupero in due fasi, qual è il lavoro del reranker?
- Per rieseguire il punteggio e riordinare un elenco di candidati in base alla pertinenza
- Per estrarre i candidati iniziali da milioni di documenti
- Per archiviare i documenti in un database
- Per generare la risposta finale in linguaggio naturale
- Besides MS MARCO, on which dataset did Nogueira and Cho report strong results for their BERT passage reranker?
- ImageNet
- TREC-CAR
- LibriSpeech
- SQuAD only
- Perché non è possibile utilizzare un riclassificazione cross-encoder per cercare direttamente milioni di documenti?
- Funziona solo sulle immagini
- Non può leggere il testo
- I suoi punteggi devono essere calcolati di recente per ciascuna coppia query-documento, il che è troppo lento su larga scala
- Non richiede alcun calcolo
- Qual è il vantaggio principale di un bi-encoder rispetto a un cross-encoder?
- È più accurato con una pertinenza a grana fine
- Riordina sempre perfettamente i risultati
- Non necessita di dati di addestramento
- Gli incorporamenti dei documenti possono essere precalcolati, rendendo il recupero rapido e scalabile
- How can a reranker affect context quality in a retrieval-augmented generation pipeline?
- It can move more relevant retrieved candidates higher in the context shortlist, but does not guarantee correctness
- It ensures every retrieved passage is factually correct
- It creates missing documents in the corpus
- It removes the need to evaluate retrieval
- In listwise reranking, what does the model consider together?
- Only one document with no query
- A query and a set of candidate documents when deciding their ordering
- Each document embedding before any candidate retrieval
- A single relevance label for the full training corpus
- What should a team verify before interpreting reranker scores as probabilities?
- Whether every score is above zero
- Whether the first-stage retriever was removed
- Whether the scores have been calibrated and evaluated for that use
- Whether the model has more parameters than the retriever
- What limitation does a reranker inherit from the first-stage retrieval system?
- It always returns a calibrated probability
- It removes the need for retrieval
- It guarantees a correct generated answer
- It cannot promote a relevant document that was never included in the candidate set