GUIDA TECNICA

Ottimizzazione dei modelli di incorporamento per il recupero

Mettere a punto un modello di incorporamento significa addestrarlo su coppie di query reali e sui documenti che rispondono, in modo che nel tuo dominio il testo rilevante si trovi più vicino nello spazio vettoriale rispetto al testo irrilevante.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della messa a punto dei modelli di incorporamento per il recupero
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

È importante perché la qualità del recupero limita la qualità del RAG: se il passaggio corretto non viene recuperato, il modello linguistico non può utilizzarlo e gli incorporamenti generici spesso non comprendono il vocabolario del dominio, le abbreviazioni e il modo in cui gli utenti formulano le domande.

Immersione profonda

Un modello di incorporamento trasforma il testo in un vettore in modo che testi semanticamente simili abbiano vettori simili, solitamente misurati dalla somiglianza del coseno. In RAG, sia le query che i blocchi di documenti sono incorporati e vengono recuperati i blocchi più vicini. I modelli generali vengono formati su dati del web ampio e di domande-risposte. Funzionano abbastanza bene ovunque, ma possono avere difficoltà con termini specializzati, nomi di prodotti interni e il divario tra il modo in cui un utente chiede e il modo in cui viene scritto un documento. L'ottimizzazione colma questa lacuna con i dati di addestramento in tre forme. Le coppie positive sono una domanda e un passaggio che risponde. I negativi in ​​batch utilizzano gli altri passaggi nello stesso batch di addestramento come esempi di ciò che dovrebbe avere un punteggio inferiore. I negativi duri sono passaggi che sembrano rilevanti, che condividono parole o argomenti, ma non rispondono alla domanda. I negativi duri insegnano le sottili distinzioni che contano di più, perché i negativi facili sono già separati dal modello base. Buone fonti di dati includono log di ricerca con clic, ticket di supporto collegati ad articoli, pagine di domande frequenti e query sintetiche generate dai tuoi documenti da un modello linguistico. I dati sintetici sono utili ma dovrebbero essere filtrati, poiché le domande generate spesso copiano il testo del documento e rendono il compito troppo facile. Un malinteso frequente è che la messa a punto sia la prima soluzione per un recupero inadeguato. Spesso una migliore suddivisione in blocchi, l'aggiunta di una ricerca per parole chiave come BM25 in una configurazione ibrida o l'aggiunta di un reranker offrono guadagni maggiori con meno sforzo. La messa a punto è particolarmente utile quando hai misurato un divario di recupero e hai o puoi costruire almeno qualche migliaio di coppie di qualità. Un’altra trappola sono i falsi negativi: un negativo duro estratto che effettivamente risponde alla domanda. Addestrare il modello a respingerlo danneggia la qualità. Tieni inoltre presente che la modifica del modello di incorporamento richiede il re-incorporamento dell'intera raccolta di documenti, poiché i vettori vecchi e nuovi non sono confrontabili.

Implementazione nel mondo reale

Una compagnia assicurativa effettua incorporamenti su coppie di domande dei clienti e sulle clausole della polizza che rispondono, quindi "il mio telefono è coperto se lo faccio cadere" recupera la clausola sui danni accidentali.

Una società di software utilizza la cronologia dei ticket di supporto, associando la domanda di ciascun ticket agli agenti dell'articolo di supporto collegati nella loro risposta, come dati di formazione gratuiti.

Un gruppo di ricerca legale elimina gli aspetti negativi prendendo clausole che condividono parole chiave con la query ma si rivolgono a una giurisdizione diversa, insegnando al modello a separarle.

Un team farmaceutico genera domande sintetiche da documenti interni con un modello linguistico, filtra quelle di bassa qualità e utilizza le coppie per addestrare un modello di incorporamento del dominio.

Il futuro della messa a punto dei modelli di incorporamento per il recupero

I modelli generali di incorporamento continuano a migliorare sui benchmark pubblici come MTEB, che restringe ma non elimina il vantaggio dell’adattamento del dominio, poiché i dati di benchmark raramente corrispondono a un corpus privato. La generazione di dati sintetici con modelli linguistici ha reso pratica la messa a punto per i team senza grandi set di dati etichettati. È previsto un uso continuato di pipeline ibride in cui un modello di incorporamento ottimizzato gestisce il richiamo della prima fase e un riclassificatore gestisce la precisione. L'abitudine alla misurazione conta di più: i team che monitorano il ricordo di query reali sapranno quando la messa a punto ripagherà.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Fine-Tuning Embedding Models for Retrieval quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cos'è l'ottimizzazione dei modelli di incorporamento per il recupero?

Mettere a punto un modello di incorporamento significa addestrarlo su coppie di query reali e sui documenti che rispondono, in modo che nel tuo dominio il testo rilevante si trovi più vicino nello spazio vettoriale rispetto al testo irrilevante. È importante perché la qualità del recupero limita la qualità del RAG: se il passaggio corretto non viene recuperato, il modello linguistico non può utilizzarlo e gli incorporamenti generici spesso non comprendono il vocabolario del dominio, le abbreviazioni e il modo in cui gli utenti formulano le domande.

Qual è l’aspetto negativo dell’incorporamento della messa a punto?

I negativi duri condividono parole o argomenti con la query ma non sono corretti, insegnando al modello distinzioni sottili.

Perché i negativi duri sono più utili dei negativi facili?

I facili negativi sono già lontani dalla questione; i negativi duri costringono il modello ad apprendere sottili differenze.

Cos'è un falso negativo in questo contesto?

Se un presunto negativo è effettivamente rilevante, la formazione allontana una risposta corretta e danneggia il recupero.

Quale perdita viene comunemente utilizzata per addestrare i modelli di incorporamento su coppie di passaggi di query?

Le perdite contrastanti segnano il positivo rispetto ai negativi in ​​batch e rigidi, spingendo il positivo in alto.

Dopo essere passato a un modello di incorporamento appena perfezionato, cosa devi fare per l'indice dei tuoi documenti?

I vettori di modelli diversi non sono confrontabili, quindi l'intera raccolta deve essere reintegrata.