Il prossimoProssima guida
ColBERT Late Interaction Retrieval
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Dense Passage Retrieval learns vector representations of questions and passages and ranks passages by their similarity.
Ascolta questa guidaNarrato dall'IA · ~2 min
Learned matching can retrieve relevant paraphrases with limited word overlap, but relevance depends on training and evaluation rather than semantic guarantees.
DPR, introdotto da Facebook AI nel 2020, utilizza due codificatori BERT separati: un codificatore di domande e un codificatore di passaggio. Ciascuno trasforma il testo in un vettore denso di lunghezza fissa (spesso 768 dimensioni). La rilevanza è il prodotto scalare tra un vettore di domanda e un vettore di passaggio, quindi il recupero diventa una ricerca rapida del vicino più vicino su incorporamenti di passaggi precalcolati. Il modello è addestrato con un obiettivo contrastivo: avvicinare il vettore del passaggio giusto alla domanda e allontanare quelli sbagliati, utilizzando negativi in batch più negativi duri estratti da BM25. Sui benchmark QA di dominio aperto come Natural Questions, DPR ha battuto con ampi margini il BM25, a lungo dominante, dimostrando che la corrispondenza semantica appresa potrebbe sovraperformare la ricerca di parole chiave per rispondere alle domande.
Sistemi di risposta alle domande a dominio aperto che estraggono i passaggi di Wikipedia di supporto prima che un LLM scriva la risposta
Ricerca di documenti aziendali in cui i dipendenti pongono domande naturali e ottengono paragrafi pertinenti anche senza parole chiave esatte
Bot dell'assistenza clienti che recuperano l'articolo corretto del centro assistenza da un reclamo parafrasato
Chatbot potenziati per il recupero che radicano le risposte in una base di conoscenza privata per ridurre le allucinazioni
Il recupero denso ora è alla base della maggior parte delle pipeline di generazione aumentata di recupero che alimentano modelli linguistici di grandi dimensioni. La ricerca si sta muovendo verso sistemi ibridi che fondono punteggi densi e lessicali, modelli di interazione tardiva come ColBERT che mantengono vettori per token per una corrispondenza più precisa e incorporamenti ottimizzati per le istruzioni che si adattano a molti compiti. Aspettatevi codificatori più economici, multilingue e con contesto più lungo, oltre a una più stretta collaborazione tra i retriever e i generatori che servono.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Dense Passage Retrieval learns vector representations of questions and passages and ranks passages by their similarity. Learned matching can retrieve relevant paraphrases with limited word overlap, but relevance depends on training and evaluation rather than semantic guarantees.
DPR mappa sia le query che i passaggi in vettori densi e misura la rilevanza in base alla loro somiglianza (prodotto scalare), catturando il significato piuttosto che la sovrapposizione delle parole.
Un bi-codificatore ha codificatori indipendenti per domande e passaggi, quindi i vettori dei passaggi possono essere precalcolati e indicizzati in anticipo.
Poiché il codificatore del passaggio non dipende dalla query, tutti gli incorporamenti del passaggio possono essere precalcolati e archiviati, lasciando solo la query da codificare al momento della ricerca.
I negativi in batch trattano gli altri passaggi in un mini-batch come negativi per una determinata domanda, producendo in modo efficiente molte coppie contrastanti.
Learned representations can support paraphrase matching, but dense retrieval does not universally outperform lexical retrieval.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
ColBERT Late Interaction Retrieval
Intelligenza artificiale linguistica