Генериране с разширено извличане (RAG)

Типичен конвейер събира документи, запазва техния произход, създава представяния с възможност за търсене, извлича кандидати за заявка и предава избрани доказателства на модел. Някои системи комбинират ключови думи и семантично търсене или прекласират резултатите преди генериране. Всеки етап може да доведе до пропуски или грешки. Подготовката на документи определя какви доказателства могат да бъдат намерени. Запазете заглавия, дати, таблици и идентификатори на източници, когато разделяте съдържанието на пасажи. Пасаж, отделен от изключение или бележка под линия, може да предаде грешен смисъл, дори когато думите са копирани правилно. Приложете контрол на достъпа, преди доказателствата да достигнат до модела. Резултат от търсенето, който е семантично релевантен, все още може да принадлежи към документ, който заявеният потребител няма право да вижда. Отнасяйте се към инструкциите в извлечените документи като към ненадеждно съдържание, а не към пълномощия за промяна на поведението на приложението. Оценявайте отделно извличането и отговарянето. Проверете дали необходимото доказателство се появява в набора от кандидати, дали избраният контекст го запазва и дали отговорът го използва вярно. Включете въпроси без отговор в колекцията и противоречиви или остарели документи. Системата се нуждае от ясен начин да каже, че доказателствата са недостатъчни.