Техническое РУКОВОДСТВО
Мультимодальная РАГ
Мультимодальный RAG — это генерация с расширенным поиском, которая может искать и использовать изображения, диаграммы, таблицы и отсканированные страницы, а не только фрагменты простого текста.
Прослушайте это руководствоОзвучено ИИ · ~3 min
На этой странице3 минуты чтения
Обзор
Он работает путем добавления подписей к визуальному контенту в текст, встраивания изображений и текста в общее пространство или получения снимков экрана всей страницы с помощью моделей видения. Это важно, потому что большая часть реальных знаний содержится в PDF-файлах, слайдах и диаграммах, которые конвейеры, работающие только с текстом, искажают или игнорируют.
Глубокое погружение
Многие организационные знания не являются чистой прозой. Он живет в слайдах, отсканированных контрактах, инженерных чертежах, финансовых таблицах и диаграммах в PDF-файлах. Конвейер, работающий только с текстом, обычно запускает OCR или анализатор PDF, отбрасывает макет и разбивает выходные данные на части. Таблицы превращаются в беспорядочные строки, значения диаграмм исчезают, а диаграмма вообще ничего не дает. Мультимодальная RAG обеспечивает возможность извлечения визуальной информации. Существует три широких подхода. Первый преобразует все в текст: извлекает таблицы в Markdown или HTML, использует модель визуального языка для написания описаний изображений и диаграмм и индексирует их с помощью обычных текстовых вложений. Он прост и соответствует существующей инфраструктуре, но все, что упускает автор подписи, теряется. Второй встраивает изображения и текст в общее векторное пространство, как это делают модели в стиле CLIP, поэтому текстовый запрос может напрямую получить фотографию или рисунок. Это подходит для коллекций с большим количеством изображений, таких как каталоги продуктов, но общие встраивания изображений плохо справляются с чтением плотного текста внутри документов. Третий рассматривает каждую страницу как снимок экрана. ColPali, опубликованный в 2024 году, встраивает изображения страниц в модель визуального языка и оценивает их по запросам с использованием позднего взаимодействия, сравнивая множество векторов токенов запроса со многими векторами изображений в стиле ColBERT. Он полностью пропускает распознавание текста и анализ макета и хорошо показал себя в тесте поиска документов ViDoRe, представленном вместе с ним. Получить информацию – это только половина дела. Генератор также должен видеть контент, поэтому ответы обычно исходят из модели с возможностью видения, учитывая изображение страницы или обрезанный рисунок, а не просто заголовок. Распространенным заблуждением является то, что мультимодальный RAG означает отказ от текстовых конвейеров. На практике часто встречаются гибридные системы, сочетающие в себе анализ текста, извлечение таблиц и получение изображений страниц, поскольку каждый метод обнаруживает сбои других.
Реальная реализация
Помощник производителя по техническому обслуживанию извлекает диаграмму деталей модели насоса в разобранном виде и показывает ее модели с визуальным зрением, которая определяет подходящую прокладку по меткам на чертеже.
Финансовый аналитик спрашивает о квартальной выручке по сегментам, и система извлекает изображение страницы, содержащее гистограмму, вместо того, чтобы полагаться на текст OCR, из-за которого значения диаграммы были потеряны.
Розничный торговец позволяет покупателям выполнять поиск по каталогу с помощью текстового запроса, например «зеленая керамическая настольная лампа», и использует общие встраивания изображений и текста для возврата соответствующих фотографий товаров.
В архиве десятилетиями индексируются отсканированные формы в виде скриншотов страниц, поэтому служащие могут находить документы, низкое качество сканирования которых дает ненадежный текст для распознавания.
Будущее мультимодальной RAG
Модели визуального языка продолжают совершенствоваться при прямом чтении документов, что усиливает аргументы в пользу извлечения изображений страниц и пропуска хрупких этапов анализа. Стоимость многовекторного хранения остается практическим препятствием, и для решения этой проблемы векторные базы данных добавляют поддержку поиска с поздним взаимодействием. При поиске видео и аудио применяются аналогичные идеи, используя кадры или расшифровки в качестве единиц поиска, но инструменты менее зрелы. Оценка также отстает от текста RAG; общедоступные тесты, такие как ViDoRe, помогают, но организациям все равно понадобятся наборы тестов, созданные на основе их собственных отсканированных форм, диаграмм и слайдов, чтобы знать, какой подход им подходит.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Пройдите викторину «Мультимодальная RAG»
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое мультимодальная РАГ?
Мультимодальный RAG — это генерация с расширенным поиском, которая может искать и использовать изображения, диаграммы, таблицы и отсканированные страницы, а не только фрагменты простого текста. Он работает путем добавления подписей к визуальному контенту в текст, встраивания изображений и текста в общее пространство или получения снимков экрана всей страницы с помощью моделей видения. Это важно, поскольку большая часть реальных знаний хранится в PDF-файлах, слайдах и диаграммах, которые конвейеры, работающие только с текстом, искажают или игнорируют.
Что обычно идет не так, когда текстовый конвейер RAG обрабатывает PDF-файл, полный таблиц и диаграмм?
При синтаксическом анализе обычного текста макет отбрасывается, поэтому структура таблицы нарушается и визуальная информация исчезает.
В чем основная слабость подхода «подпись всего в тексте»?
При поиске можно найти только то, что содержит сгенерированное описание; опущенные детали невидимы.
Что модели в стиле CLIP делают возможными в мультимодальной RAG?
Общее пространство означает, что вектор текстового запроса можно напрямую сравнивать с векторами изображений.
В чем особенность подхода ColPali?
ColPali рассматривает само изображение страницы как единицу поиска, полностью избегая этапа анализа.
Как при позднем взаимодействии оценивается запрос на странице?
Позднее взаимодействие сохраняет несколько векторов с обеих сторон и объединяет лучшие совпадения, как это делает ColBERT для текста.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме