Вложения в представление матрешки
Matryoshka Representation Learning (MRL) обучает вложения таким образом, что самая важная информация упаковывается в первые измерения, что позволяет урезать длинный вектор до более короткого с небольшими потерями.
Обзор
Like nested Russian dolls, one embedding contains many usable smaller embeddings.
Глубокое погружение
Представленный в 2022 году Кусупати и др., Matryoshka Representation Learning создает одно вложение, префиксы которого сами по себе являются высококачественными встраиваниями. Модель обучается с использованием комбинированных потерь, которые одновременно оптимизируют производительность при нескольких вложенных измерениях, например, 8, 16, 32, вплоть до 2048 измерений, имеющих одинаковые веса. Поскольку ранние координаты содержат самую грубую и наиболее разборчивую информацию, вы можете просто отрезать первые 64 или 256 чисел и при этом получить хорошие результаты, а затем сохранять полные векторы только там, где точность имеет значение. Это обеспечивает адаптивное развертывание: дешевые вектора малой размерности для быстрого поиска при первом проходе с последующим повторным ранжированием с использованием векторов полной длины. Модели text-embedding-3 OpenAI популяризировали MRL, предоставляя параметр размеров, созданный на основе этой техники.
Техническая информация
Тренировочный трюк — это вложенные потери: для каждой выбранной длины префикса модель вычисляет свою собственную классификационную или контрастную потерю, используя только ведущие измерения, и эти потери суммируются. Градиенты подталкивают сеть к предварительной загрузке наиболее полезного сигнала. При выводе усечение до k измерений и перенормировка дают допустимое встраивание, переобучение не требуется. Это контрастирует с PCA или отдельными моделями каждого размера, которые требуют дополнительных вычислений или хранения.
Стратегическое воздействие
Скорость и масштаб
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Доступ и охват
Это расширяет доступ к различным языкам и стилям общения.
Более четкие решения
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Будущее встраивания представлений матрешек
Встраивание матрешки становится возможностью по умолчанию в коммерческих и открытых моделях внедрения, поскольку оно сокращает затраты на хранение и извлечение векторных баз данных без необходимости переобучения. Ожидайте более тесной интеграции с квантованием (Matryoshka плюс двоичные векторы или векторы int8) для чрезвычайного сжатия, адаптивных конвейеров поиска, которые выбирают размерность для каждого запроса, а также распространения идеи вложенного представления на мультимодальные представления и встраивания изображений, где нагрузка на хранилище еще выше.
Реальная реализация
Сохранение коротких 256-мерных векторов в базе данных векторов для дешевого крупномасштабного поиска, а затем повторное ранжирование лучших результатов с помощью полных векторов.
Использование параметра text-embedding-3 'dimensions' OpenAI для сжатия внедрений без повторного обучения новой модели.
Запуск семантического поиска на устройстве на телефонах с усеченными встраиваниями с низким объемом памяти
Сочетание усечения Matryoshka с двоичным квантованием для размещения миллиардов векторов в ограниченной оперативной памяти.
Риски и ограничения
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Дорожная карта реализации
Перед развертыванием определите выходной формат, тон и стандарты качества.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Matryoshka Representation Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Эмбедирование аудио и обучение представлениям
Часто задаваемые вопросы
What is Matryoshka Representation Embeddings?
Matryoshka Representation Learning (MRL) обучает вложения таким образом, что самая важная информация упаковывается в первые измерения, что позволяет урезать длинный вектор до более короткого с небольшими потерями. Подобно матрешкам, одно вложение содержит множество полезных вложений меньшего размера.
Каково основное свойство вложения матрешки?
MRL загружает информацию заранее, так что усечение до более короткого префикса все равно дает надежное встраивание, как в матрешках.
Как модель матрешки обучается для достижения этой цели?
MRL оптимизирует совокупные потери сразу по нескольким вложенным измерениям, поэтому каждый префикс становится полезным.
Что вы делаете при выводе, чтобы получить меньшее вложение?
Вы просто отрезаете ведущие k координат и перенормируете; никакого дополнительного обучения или модели не требуется.
Какие коммерческие вставки популяризировали «Матрешку» по параметру «размеры»?
Модели text-embedding-3 OpenAI позволяют пользователям сокращать встраивания с помощью параметра размеров, созданного на основе MRL.
Какова основная практическая польза от вложений Матрешки?
Используя более короткие векторы для дешевого поиска с первого прохода и более длинные для повторного ранжирования, MRL сокращает затраты на хранение и вычисления.