ДалееСледующее руководство
Оптимизаторы Lookahead и Lion
Технический
Техническое РУКОВОДСТВО
Цели InfoNCE и SimCLR
InfoNCE — это контрастная потеря, которая учит модель объединять совпадающие пары и раздвигать несовпадающие пары во вложенном пространстве.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
SimCLR is a landmark framework that used this loss to learn powerful image representations from unlabeled data, rivaling supervised pretraining.
Глубокое погружение
InfoNCE (оценка контрастности шума для взаимной информации) обучает кодировщик так, чтобы запрос и его истинное положительное значение имели более высокий показатель сходства, чем запрос и множество отрицательных значений. По сути, это мягкая максимальная кросс-энтропия по показателям сходства: для якоря положительное должно побеждать отрицательное. SimCLR (2020) реализовал это для изображений: возьмите одно изображение, примените два случайных увеличения для создания положительной пары, пропустите оба через общий кодер плюс проекционную головку и используйте нормализованную кросс-энтропию с масштабированием по температуре (NT-Xent, вариант InfoNCE), чтобы два дополненных изображения притягивались, в то время как все остальные изображения в пакете действовали как негативы. SimCLR показал, что сильное увеличение данных, нелинейная проекционная головка, большие размеры партий и настроенная температура вместе позволяют моделям с самоконтролем соответствовать моделям с контролируемым контролем в ImageNet — без каких-либо меток во время предварительного обучения.
Реальная реализация
SimCLR предварительно обучает кодировщик изображений на немаркированных фотографиях, а затем выполняет точную настройку на небольшом маркированном наборе для классификации.
CLIP использует цель InfoNCE для сопоставления изображений с их подписями, что позволяет классифицировать изображения с нулевым кадром.
Построение визуального поиска/извлечения, при котором похожие изображения располагаются близко друг к другу в изученном пространстве встраивания.
Самостоятельная предварительная подготовка к медицинским или спутниковым снимкам, где меток мало, но необработанных данных много.
Будущее InfoNCE и цели SimCLR
Контрастные цели выходят далеко за рамки SimCLR: CLIP выравнивает изображения с текстом с помощью InfoNCE в разных модальностях, и те же самые потери управляют моделями аудио, видео и поиска. Исследования теперь уменьшают зависимость от огромных партий и множества негативов с помощью банков памяти (MoCo) или полностью устраняют явные негативы (BYOL, SimSiam, DINO). Ожидайте дальнейшего сочетания предварительной подготовки по контрастированию, дистилляции и маскированному моделированию с мультимодальным выравниванием (текст, изображение, аудио) в качестве доминирующего рубежа для базовых моделей.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the InfoNCE and SimCLR Objectives quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is InfoNCE and SimCLR Objectives?
InfoNCE — это контрастная потеря, которая учит модель объединять совпадающие пары и раздвигать несовпадающие пары во вложенном пространстве. SimCLR — это знаковая платформа, которая использовала эту потерю для изучения мощных представлений изображений из неразмеченных данных, конкурируя с контролируемым предварительным обучением.
Что цель InfoNCE побуждает делать модель?
InfoNCE — это мягкий максимум сходства, который вознаграждает высокое сходство за истинно положительные и низкое сходство за отрицательные.
Как в SimCLR создается положительная пара?
SimCLR генерирует положительную пару из двух дополненных представлений одного и того же исходного изображения; другие изображения служат негативами.
Какую роль играет температура τ в NT-Xent/InfoNCE?
Разделение сходства на τ перед softmax контролирует, насколько резко потеря отличает положительные значения от резких отрицательных.
Что происходит с проекционной головой SimCLR после предварительной тренировки?
SimCLR обнаружил, что функции перед проекцией головы передаются лучше, поэтому после предварительной тренировки голову выбрасывают.
Почему SimCLR полагался на большие размеры пакетов?
В SimCLR другие изображения в пакете действуют как негативы, поэтому большие пакеты дают больше негативов и более эффективное обучение.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме