ДаліНаступний посібник
Lookahead і Lion Optimizers
технічний
Технічний КЕРІВНИЦТВО
Цілі InfoNCE та SimCLR
InfoNCE — це контрастивна втрата, яка вчить модель об’єднувати відповідні пари та розштовхувати невідповідні пари окремо у просторі вбудовування.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
SimCLR — це знаковий фреймворк, який використав цю втрату для вивчення потужних представлень зображень із немаркованих даних, конкуруючи з контрольованим попереднім навчанням.
Глибоке занурення
InfoNCE (Шумово-контрастивна оцінка для взаємної інформації) навчає кодер таким чином, щоб запит і його справжній результат мали вищу оцінку подібності, ніж запит і багато негативів. По суті, це м’яка перехресна ентропія над показниками подібності: для прив’язки позитив має перемагати проти негативу. SimCLR (2020) реалізував це для зображень: візьміть одне зображення, застосуйте два випадкових доповнення, щоб створити позитивну пару, пропустіть обидва через спільний кодер і проекційну головку та використовуйте нормалізовану перехресну ентропію з температурним масштабом (NT-Xent, варіант InfoNCE), щоб два доповнених зображення притягувалися, а всі інші зображення в групі діяли як негативи. SimCLR показав, що потужне розширення даних, нелінійна проекційна головка, великі розміри партій і налаштована температура разом дозволяють самоконтрольованим моделям збігатися з контрольованими в ImageNet — без будь-яких міток під час попереднього навчання.
Реалізація в реальному світі
SimCLR попереднє навчання кодувальника зображень на фотографіях без міток, а потім точне налаштування на невеликому наборі з мітками для класифікації.
CLIP використовує об’єктив InfoNCE для зіставлення зображень із підписами до них, уможливлюючи нульову класифікацію зображень.
Побудова візуального пошуку/пошуку, коли схожі зображення розташовані близько одне до одного в дослідженому просторі вбудовування.
Самоконтрольована попередня підготовка для медичних або супутникових зображень, де позначок мало, але необроблених даних багато.
Майбутнє цілей InfoNCE та SimCLR
Контрастні цілі поширюються далеко за межі SimCLR: CLIP вирівнює зображення з текстом за допомогою InfoNCE у різних модальностях, і ті самі втрати керують аудіо, відео та моделями пошуку. Тепер дослідження зменшують залежність від величезних партій і багатьох негативів через банки пам’яті (MoCo) або повністю видаляють явні негативи (BYOL, SimSiam, DINO). Очікуйте продовження змішування контрастного, дистиляційного та маскованого моделювання попереднього навчання з мультимодальним вирівнюванням (текст, зображення, аудіо) як домінуючий кордон для основних моделей.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the InfoNCE and SimCLR Objectives quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке InfoNCE і SimCLR Objectives?
InfoNCE — це контрастивна втрата, яка вчить модель об’єднувати відповідні пари та розштовхувати невідповідні пари окремо у просторі вбудовування. SimCLR — це знаковий фреймворк, який використав цю втрату для вивчення потужних представлень зображень із немаркованих даних, конкуруючи з контрольованим попереднім навчанням.
До чого мета InfoNCE спонукає модель?
InfoNCE — це softmax над схожістю, який винагороджує високу подібність за справжнє позитивне та низьку схожість за негативні.
Як у SimCLR створюється позитивна пара?
SimCLR генерує позитивну пару з двох доповнених переглядів одного вихідного зображення; інші зображення служать негативами.
Яку роль відіграє температура τ у NT-Xent / InfoNCE?
Ділення схожості на τ перед softmax контролює, наскільки різко втрата відрізняє позитивні від жорстких негативних.
Що відбувається з проекційною головкою SimCLR після попереднього навчання?
SimCLR виявив, що особливості перед проекційною головкою передаються краще, тому голову викидають після попереднього навчання.
Чому SimCLR покладався на великі пакети?
У SimCLR інші зображення в пакеті діють як негативи, тому більші пакети дають більше негативів і краще навчання.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми