ДалееСледующее руководство
Псевдомаркировка и самообучение
Технический
Техническое РУКОВОДСТВО
BYOL и неконтрастный самоконтроль
BYOL (Bootstrap Your Own Latet) изучает полезные представления изображений без каких-либо ярлыков и, что удивительно, без негативных примеров.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Оно показало, что самообучение не должно основываться на разделении разнородных изображений, что позволяет избежать необходимости использования огромных партий негативов.
Глубокое погружение
Большинство ранних методов самоконтроля были контрастными: они объединяли два дополненных представления одного и того же изображения, одновременно раздвигая разные изображения, что требовало множества отрицательных выборок, чтобы избежать коллапса (когда сеть выдает один и тот же вектор для всего). BYOL от DeepMind в 2020 году полностью удалил негативы. Он использует две сети: онлайн-сеть и целевую сеть. Два дополненных представления одного изображения проходят через две сети; онлайн-сеть добавляет голову прогнозирования и обучается прогнозировать представление другого представления в целевой сети. Важно отметить, что веса целевой сети не обучаются методом градиентного спуска. Вместо этого они представляют собой экспоненциальное скользящее среднее (EMA) онлайн-весов. Эта асимметрия плюс целевое значение EMA предотвращает тривиальный коллапс контрастных методов, которого опасаются, совпадая или превосходя контрастные базовые уровни в ImageNet.
Реальная реализация
Предварительная тренировка зрительной системы на миллионах неразмеченных фотографий, а затем точная настройка на небольшом наборе данных медицинских изображений, где экспертных аннотаций мало.
Изучение особенностей восприятия роботов по необработанным потокам камер без маркировки вручную, что снижает затраты на обучение манипулятивным задачам.
Создание систем поиска изображений и дедупликации с использованием вложений BYOL, которые группируют визуально похожие изображения без каких-либо меток классов.
Инициализация моделей спутниковых или аэрофотоснимков на обширных немаркированных архивах перед их точной настройкой для классификации землепользования или обезлесения.
Будущее BYOL и неконтрастного самоконтроля
Неконтрастные идеи теперь закрепляют большую часть самоконтролируемого видения. SimSiam еще больше сократил BYOL, показав, что целевое значение EMA не является строго обязательным, если сохраняется стоп-градиент, что углубляет понимание того, почему следует избегать коллапса. Ожидается, что эти рецепты предварительного обучения без меток будут продолжать сливаться с моделированием замаскированных изображений и мультимодальным обучением, а также распространяться на видео, аудио, медицинскую визуализацию и робототехнику, где меток мало или они дороги, часто в качестве этапа предварительного обучения перед облегченной контролируемой точной настройкой.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the BYOL and Non-Contrastive Self-Supervision quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое BYOL и неконтрастный самоконтроль?
BYOL (Bootstrap Your Own Latet) изучает полезные представления изображений без каких-либо ярлыков и, что удивительно, без негативных примеров. Оно показало, что самообучение не должно основываться на разделении разнородных изображений, что позволяет избежать необходимости использования огромных партий негативов.
What makes BYOL non-contrastive?
The BYOL paper highlights learning representations without negative pairs.
What does the online network learn to predict?
BYOL trains the online branch to predict the target representation across two views.
How are target-network weights updated?
The paper describes updating the target with a slow-moving average.
Why does BYOL use an online predictor and stop-gradient on the target side?
The BYOL method uses asymmetry and a stop-gradient as parts of its design.
What happens to two views of the same image in BYOL?
The paper learns by predicting one view’s target representation from another.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме