Эффект «Затерянный посередине»
Эффект «потерянного посередине» — это тенденция языковых моделей лучше всего использовать информацию, когда она появляется в начале или конце длинного ввода, игнорируя при этом факты, скрытые в середине.
Обзор
It matters because it limits how much we can trust long-context models with retrieved documents.
Глубокое погружение
Эффект, обнаруженный в исследовании 2023 года Лю и его коллег из Стэнфорда, проявлялся, когда моделям давали много документов и просили ответить, используя тот, который содержал ключевой факт. Точность образовывала U-образную кривую: самая высокая, когда соответствующий отрывок находился в начале или конце подсказки, и заметно ниже, когда он находился в середине. Это справедливо даже для моделей, позиционируемых как способные работать с длинным контекстом. Это очень важно для генерации с расширенным поиском: вставка десятков отрывков в подсказку не гарантирует, что модель прочитает их равномерно. Позиция, а не только присутствие, определяет, будет ли модель учитывать факт. В работе длинный контекст был переосмыслен как вопрос эффективного использования, а не исходного размера окна.
Техническая информация
U-образная кривая, вероятно, связана с тем, как внимание и позиционные кодировки распределяют фокус. Предвзятости первичности и новизны, частично унаследованные от структуры обучающих данных и позиционных схем, придают дополнительный вес ранним и поздним токенам. Некоторые архитектуры декодеров также активно распространяют информацию ранних токенов через уровни. Конечным результатом является то, что средние позиции получают размытое внимание, поэтому правильный ответ, размещенный там, может быть фактически проигнорирован, даже если он полностью присутствует в контексте.
Стратегическое воздействие
Скорость и масштаб
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Доступ и охват
Это расширяет доступ к различным языкам и стилям общения.
Более четкие решения
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Будущее эффекта «Затерянных посередине»
Исследователи решают этот эффект с помощью изменения внимания, обучения с учетом положения и более умного поиска, который перераспределяет наиболее релевантные отрывки по краям подсказки. Пакеты оценки теперь включают тесты «иголка в стоге сена» для разных должностей для измерения эффективного контекста. По мере совершенствования архитектуры U-образная кривая сглаживается, но специалисты-практики будут продолжать проектировать конвейеры, которые размещают важные данные там, где модели действительно выглядят, вместо того, чтобы доверять единому вниманию.
Реальная реализация
Система RAG извлекает 20 документов, но пропускает ответ, поскольку он попал в 10-й отрывок из 20.
Инженеры меняют рейтинг результатов поиска, чтобы наиболее релевантный фрагмент помещался первым или последним в подсказке.
В составах объемных документов не учитываются ключевые детали, которые появляются в середине контракта.
Тест «иголка в стоге сена» скрывает факт на разной глубине, чтобы отобразить точность позиционирования модели.
Риски и ограничения
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Дорожная карта реализации
Перед развертыванием определите выходной формат, тон и стандарты качества.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lost in the Middle Effect quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Звуковые эффекты
Часто задаваемые вопросы
What is Lost in the Middle Effect?
Эффект «потерянного посередине» — это тенденция языковых моделей лучше всего использовать информацию, когда она появляется в начале или конце длинного ввода, игнорируя при этом факты, скрытые в середине. Это важно, поскольку ограничивает степень доверия к моделям с длинным контекстом при работе с полученными документами.
Какую форму принимает точность, когда ключевой факт проходит через длинную подсказку?
Точность наиболее высока, когда соответствующая информация находится рядом с началом или концом и опускается в середине, образуя U-образную форму.
Что означает эффект «потерянного посередине» для генерации с расширенным поиском?
Просто включить отрывок недостаточно; то, где он находится в подсказке, меняет вероятность того, что модель будет его использовать.
Какие предубеждения, как полагают, приводят к такому эффекту?
Особое внимание к первой и последней позициям, связанное с позиционными кодировками и структурой обучения, создает U-образную кривую.
Избегают ли модели с длинным контекстом автоматически этого эффекта?
Исследование выявило этот эффект в моделях, позиционируемых как долгоконтекстные, показывая, что размер окна не обеспечивает единообразного использования.
Какой практический шаг помогает противостоять эффекту в конвейере?
Размещение наиболее релевантных доказательств в начале или в конце выравнивает их с тем местом, где модель наиболее популярна.