Дослідження повідомляє про «згортання RAG», коли мовні моделі відновлюють своє власне письмо

Що сталося

Автори повідомляють, що пошуково-доповнені системи мовної моделі можуть стати нестабільними, коли результати пошуку включають вміст, раніше згенерований тими ж моделями. Згідно з трьома типами симуляції, трьома сімействами моделей і 1019 запитами на пошук інформації, 1216 із 1528 симуляцій, як повідомляється, закінчилися крахом.

Джерелом є стаття arXiv, надіслана 22 серпня 2026 р. під назвою «Згортання RAG: згортання відповідей LLM, коли отримані документи є самоавторськими». Його головне твердження полягає в тому, що система мовної моделі може погіршитися, коли інструмент пошуку повертає посилання, згенеровані цією самою системою. Автори відрізняють це від рекурсивного навчання виводу моделі: тут цикл зворотного зв’язку вводиться під час пошуку інформації, коли згенеровані документи стають доступними як посилання для наступних відповідей. Стаття називає отриману модель «згортанням КНЧ».

Автори кажуть, що вони протестували три типи симуляцій із залученням систем штучного інтелекту, які отримували створені ними посилання. Анотація, що надається, визначає три сімейства моделей, 1019 підказок для пошуку інформації, 1528 симуляцій і понад один мільйон викликів API мовної моделі. У ньому повідомляється, що 1216 симуляцій, або 79,6%, закінчилися крахом. Джерело не називає сімейства моделей, детально не описує підказки, не вказує конфігурації пошуку або не надає робочого тесту, який використовувався для визначення того, що симуляція зруйнувалася.

У статті також повідомляється, що одного авторського посилання може бути достатньо, щоб викликати ефект. На думку авторів, мовні моделі непропорційно цитували власний вміст, і це упередження залишилося після того, як дослідники перевірили якість посилання. Ця відмінність має значення: описаний механізм полягає не просто в тому, що неякісні документи заражають набір для пошуку. Джерело натомість представляє самоавторство як незалежний фактор у тому, як вибрані посилання вибираються чи використовуються.

Ці висновки залишаються твердженнями з подання arXiv, а не незалежно встановленими фактами в наданому матеріалі. Джерело визначає роботу як 36-сторінкову статтю з 31 рисунком і чотирма таблицями, але поданий текст містить лише анотацію та бібліографічну інформацію. Він не повідомляє про рецензування, зовнішню реплікацію, тестування системи в реальному часі або повні експериментальні результати. Видима позначка часу розміщує подання в межах поточного 96-годинного вікна, але джерело не надає пізнішого оновлення після початкового подання.

Деталі джерела: arxiv.org ↗

Чому це важливо

Результат визначає потенційну проблему зворотного зв’язку для систем, які використовують пошук або пошук документів для відповідей на землю. Це свідчить про те, що створений моделлю матеріал може отримати непропорційний вплив, навіть якщо він не кращий за інші посилання, хоча надане джерело не встановлює, як часто це відбувається в розгорнутих системах.

Пошуково-доповнена генерація призначена для підключення мовної моделі до зовнішніх посилань замість того, щоб покладатися лише на інформацію, що зберігається в її параметрах. Якщо отриманий матеріал все більше складається з тексту, створеного моделлю, система може повернути власні фрази, пропуски або помилки назад у пізніші відповіді. Таким чином, результати статті стосуються прямого ризику надійності для систем ШІ, які здійснюють пошук, узагальнення або повторне використання колекцій документів.

Повідомлення про самоупередження є особливо актуальним, оскільки воно може зберігатися, навіть якщо інші посилання мають порівнянну або вищу якість. Якщо це підтвердиться за межами моделювання в статті, це ускладнить загальні припущення про те, що додавання більшої кількості отриманого матеріалу автоматично покращує заземлення. Пошуковій системі може знадобитися відстежувати походження та трактувати документи, створені за моделлю, інакше, ніж незалежно створені джерела, а не оцінювати документи лише за релевантністю чи очевидною якістю.

Практичні наслідки потенційно широкі, але їх не слід перебільшувати. Джерело не показує, що розгорнуті пошукові системи, корпоративні бази знань або помічники споживачів зараз перебувають у стані згортання. Він також не встановлює, що всі документи, створені моделлю, є ненадійними, що пошукові системи зазвичай віддають перевагу власноруч створеному вмісту або що зазначений показник застосовується поза перевіреними симуляціями. У документі міститься попередження про можливий механізм зворотного зв’язку, а не виміряна оцінка його поширеності в ширшій екосистемі ШІ.

Результат також розкриває проблему управління та вимірювання. Коли створений штучним інтелектом матеріал потрапляє в інформаційне середовище, пізнішим системам може бути важко відрізнити оригінальні докази від похідного тексту. Надане джерело не пропонує повного рішення, але його висновки створюють практичні проблеми з походженням, незалежністю джерела та повторним виявленням вмісту для розробників та установ, які використовують ШІ на основі пошуку. Ці наслідки умовно випливають із заяви авторів і вимагають перевірки на реальних конвеєрах пошуку, перш ніж вони зможуть підтвердити широкі оперативні висновки.

Що дивитися далі

Ключові подальші питання полягають у тому, як у документі визначається згортання, чи повторюється результат у моделях і системах пошуку в реальному світі та які запобіжні заходи зменшують ефект. Джерело не надає цих деталей, а також не повідомляє про втручання, дослідження розгортання чи зовнішню реплікацію.

Перше питання, яке слід розглянути, це визначення «колапсу» в статті. Анотація використовує цей термін і пов’язує його з попередньою роботою над навчанням рекурсивної моделі, де результати стають менш різноманітними та зрештою перестають бути схожими на вихідні дані. Але надане джерело не вказує, чи вимірювали нові експерименти різноманітність, фактичну точність, збіг джерел, поведінку цитування, схожість відповідей чи інший результат. Критерій повної статті визначатиме, наскільки безпосередньо результат відповідає видимим користувачам помилкам надійності.

Реплікація є наступним важливим тестом. Автори повідомляють про три сімейства моделей і три типи моделювання, але джерело не ідентифікує їх і не пояснює, наскільки вони репрезентативні для поточних пошуково-доповнених систем. Незалежним дослідникам потрібно буде перевірити різні розміри моделей, алгоритми пошуку, суміші документів, стратегії підказок і пропорції матеріалу, створеного ШІ. Їм також потрібно буде відокремити ефекти, викликані самоавторством, від звичайних помилок пошуку, дубльованих документів або низькоякісних посилань.

Поширеність у реальному світі є ще одним невідомим. У статті повідомляється, що 79,6% симуляцій закінчуються крахом, але ця цифра не є оцінкою популяції для пошуку в Інтернеті, корпоративних баз даних чи будь-якої іншої розгорнутої системи. Джерело не повідомляє, як часто власні документи моделі з’являються у відповідних результатах пошуку, скільки часу займає цикл зворотного зв’язку чи чи перериває його редагований людиною та незалежно перевірений матеріал. Ці вимірювання необхідні перед тим, як перевести результати моделювання в прогноз суспільного впливу.

Нарешті, подальша робота повинна перевіряти запобіжні заходи. Корисні порівняння включатимуть позначки про походження, виключення документів, створених тією самою моделлю чи системою, вимоги до різноманіття джерел, незалежне ранжування та перевірку людьми для використання з високими ставками. Надане джерело повідомляє про відсутність експериментів із пом’якшення наслідків і не робить заяв про наявність чи про продукт. Доки такі тести не будуть опубліковані, розробники та користувачі повинні розглядати документ як доказ потенційно важливого режиму збою, визнаючи, що його серйозність і засоби правового захисту залишаються невирішеними.

Пов’язані посібники та вікторини