СледваСледващо ръководство
Lookahead и Lion Optimizers
технически
Техническо РЪКОВОДСТВО
Цели на InfoNCE и SimCLR
InfoNCE е контрастната загуба, която учи модела да събира съвпадащи двойки заедно и да раздалечава несъответстващите двойки в пространството за вграждане.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
SimCLR is a landmark framework that used this loss to learn powerful image representations from unlabeled data, rivaling supervised pretraining.
Дълбоко гмуркане
InfoNCE (Noise-Contrastive Estimation за взаимна информация) обучава енкодер, така че заявката и нейният истински положителен резултат да имат по-висок резултат за сходство от заявката и много негативи. По същество това е мека максимална кръстосана ентропия над резултатите за сходство: за котва положителното трябва да спечели срещу отрицателните. SimCLR (2020) използва това за изображения: вземете едно изображение, приложете две произволни увеличения, за да създадете положителна двойка, пуснете и двете през споделен енкодер плюс проекционна глава и използвайте нормализираната температурно-мащабирана крос-ентропия (NT-Xent, вариант на InfoNCE), така че двата разширени изгледа да се привличат, докато всички други изображения в партидата действат като негативи. SimCLR показа, че силното увеличаване на данните, нелинейната проекционна глава, големите размери на партидите и настроената температура заедно позволяват на самоконтролираните модели да съвпадат с контролираните в ImageNet — без никакви етикети по време на предварителното обучение.
Внедряване в реалния свят
SimCLR предварително обучава енкодер за изображения на немаркирани снимки, след което фина настройка на малък етикетиран набор за класифициране.
CLIP с помощта на обектив InfoNCE за съпоставяне на изображения с техните надписи, позволявайки класифициране на изображения с нулев изстрел.
Изграждане на визуално търсене/извличане, където подобни изображения се намират близо едно до друго в наученото пространство за вграждане.
Самоконтролирано предварително обучение за медицински или сателитни изображения, където етикетите са оскъдни, но необработените данни са в изобилие.
Бъдещето на целите на InfoNCE и SimCLR
Контрастните цели се разпространяват далеч отвъд SimCLR: CLIP подравнява изображения с текст, използвайки InfoNCE в различни модалности, и същата загуба управлява аудио, видео и модели за извличане. Изследванията сега намаляват зависимостта от огромни партиди и много негативи чрез банки с памет (MoCo) или премахват напълно изричните негативи (BYOL, SimSiam, DINO). Очаквайте непрекъснато смесване на предварителна подготовка за контрастиране, дестилация и маскирано моделиране, с мултимодално подравняване (текст, изображение, аудио) като доминираща граница за основните модели.
Прилагайки го на практика
Защо има значение
- Разходи и бюджет. Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
- По-ясни решения. Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
- Контрол на качеството. По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Внимавайте за
- Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
- Разходите за инфраструктура и поддръжка често се подценяват.
- Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Следващи стъпки
- Определете целите за латентност, качество и разходи преди внедряването.
- Бенчмарк при реалистични условия на натоварване и данни.
- Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
- Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the InfoNCE and SimCLR Objectives quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is InfoNCE and SimCLR Objectives?
InfoNCE е контрастната загуба, която учи модела да събира съвпадащи двойки заедно и да раздалечава несъответстващите двойки в пространството за вграждане. SimCLR е забележителна рамка, която използва тази загуба, за да научи мощни представяния на изображения от немаркирани данни, съперничейки на контролирано предварително обучение.
Какво насърчава целта на InfoNCE да прави модел?
InfoNCE е softmax над сходствата, който възнаграждава високото сходство за истинското положително и ниското сходство за негативите.
Как се създава положителна двойка в SimCLR?
SimCLR генерира положителна двойка от два разширени изгледа на едно и също изходно изображение; други изображения служат като негативи.
Каква роля играе температурата τ в NT-Xent / InfoNCE?
Разделянето на приликите на τ преди softmax контролира колко рязко загубата разграничава положителните от твърдо отрицателните.
Какво се случва с проекционната глава на SimCLR след предварително обучение?
SimCLR установи, че характеристиките преди проекционната глава се пренасят по-добре, така че главата се изхвърля след предварително обучение.
Защо SimCLR разчита на големи партиди?
В SimCLR другите изображения в партидата действат като негативи, така че по-големите партиди дават повече негативи и по-силно обучение.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема