Il prossimoProssima guida
Incorporamenti di sottoparole FastText
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
HyDE migliora il recupero chiedendo prima a un modello linguistico di immaginare un documento di risposta falso, quindi effettuando la ricerca con l'incorporamento di quel documento anziché con la query non elaborata.
Ascolta questa guidaNarrato dall'IA · ~2 min
Colma il divario tra le domande brevi e i passaggi più lunghi che desideri effettivamente trovare.
HyDE è stato proposto da Gao e colleghi nel 2022 per un recupero denso senza etichette di rilevanza. Chiede a un modello linguistico che segue le istruzioni di generare un ipotetico documento di risposta, incorpora quel testo con un codificatore contrastivo non supervisionato come Contriever e cerca vettori simili nel corpus reale. Il documento ipotetico può fornire modelli di attualità simili a quelli del documento anche quando i suoi dettagli sono falsi. L'articolo descrive il codificatore denso come un collo di bottiglia che può ridurre l'influenza dei dettagli inventati; ciò non garantisce che gli errori non influenzino mai il recupero. Valutare i passaggi reali recuperati piuttosto che trattare il testo generato come prova fattuale. HyDE mira a una discrepanza tra query e documento e ha riportato ottimi risultati su compiti e linguaggi testati, senza implicare una superiorità universale rispetto ai retriever addestrati.
Recupero zero-shot in un nuovo dominio in cui non esistono dati di training sui passaggi di query etichettati
Ricerca multilingue, generando una risposta ipotetica nella lingua di destinazione prima dell'incorporamento
Miglioramento del richiamo RAG espandendo le domande concise degli utenti in ricchi pseudo-documenti
Ricerca e ricerca legale in cui è necessario che query brevi corrispondano a passaggi di fonti densi e ricchi di gergo
HyDE è un elemento fondamentale nelle pipeline RAG avanzate, spesso combinato con il riclassificazione e la generazione di più query. Aspettatevi varianti che generino più documenti ipotetici e medino i loro incorporamenti per robustezza, uso adattivo che attivi HyDE solo quando la query grezza viene recuperata in modo scarso e un'integrazione più stretta con LLM locali più economici per ridurre latenza e costi. Man mano che i modelli generativi migliorano, la qualità dei documenti ipotetici – e quindi del loro recupero – dovrebbe continuare ad aumentare.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
HyDE migliora il recupero chiedendo prima a un modello linguistico di immaginare un documento di risposta falso, quindi effettuando la ricerca con l'incorporamento di quel documento anziché con la query non elaborata. Colma il divario tra le domande brevi e i passaggi più lunghi che desideri effettivamente trovare.
HyDE richiede a un LLM di scrivere un ipotetico documento di risposta, il cui incorporamento viene poi utilizzato per cercare passaggi reali.
Il documento motiva il denso collo di bottiglia come filtraggio dei dettagli, ma un errore generato può comunque modificare la rappresentazione e i risultati recuperati.
HyDE accoppia il generatore LLM con un codificatore contrastivo non supervisionato come Contriever per incorporare il documento ipotetico.
Trasformando una query in un testo simile a un documento, HyDE sposta il vettore di ricerca più vicino al tipo di passaggi a cui dovrebbe corrispondere.
La combinazione degli incorporamenti è un modo per aggregare i campioni generati; non garantisce un recupero migliore per ogni query.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Incorporamenti di sottoparole FastText
Intelligenza artificiale linguistica