Génération augmentée par récupération (RAG)

Elle peut donner au système un accès aux documents pertinents sans réentraîner le modèle à chaque changement de document. La récupération ne garantit pas que la réponse finale est prise en charge ou correcte.

Points clés à retenir

• Garde la provenance et le contexte du document.
• Faire respecter les permissions avant que les résultats de récupération n’atteignent le modèle.
• Évaluer la récupération et la génération de manière indépendante.

Un pipeline typique collecte des documents, préserve leur provenance, crée des représentations consultables, récupère des candidats pour une requête et transmet des preuves sélectionnées à un modèle. Certains systèmes combinent des résultats de recherche par mots-clés et sémantique ou de reclassement avant génération. Chaque étape peut introduire des omissions ou erreurs. La préparation du document détermine quelles preuves peuvent être trouvées. Conservez les titres, dates, tableaux et identifiants sources lors de la division du contenu en passages. Un passage séparé d’une exception ou d’une note de bas de page peut donner un mauvais sens même lorsque les mots sont correctement copiés. Appliquer les contrôles d’accès avant que les preuves n’atteignent le modèle. Un résultat de recherche sémantiquement pertinent peut encore appartenir à un document que l’utilisateur demandeur n’est pas autorisé à voir. Considérez les instructions contenues dans les documents récupérés comme un contenu non fiable plutôt que comme une autorité pour modifier le comportement de l’application. Évaluez séparément la récupération et la réponse. Vérifiez si les preuves nécessaires apparaissent dans l’ensemble candidat, si le contexte sélectionné les conserve, et si la réponse les utilise fidèlement. Incluez des questions sans réponse dans la collection et des documents contradictoires ou obsolètes. Le système a besoin d’un moyen explicite de dire que les preuves sont insuffisantes.

1. Construisons deux politiques : une version expirée permet les déclarations pendant 30 jours ; la version actuelle permet 14 jours.
2. Si la récupération ne retourne que l’ancienne politique, l’échec se fait en amont de la génération. Si les deux sont récupérés mais que la réponse choisit 30 jours, il faut étudier la sélection du contexte et l’utilisation des preuves.
3. Ajoutez le conflit date-effectif à l’évaluation de la recherche et de la réponse.

L’exemple inventé sépare deux causes qui autrement ressembleraient à la même mauvaise réponse.