À suivreGuide suivant
Lookahead et Lion Optimizers
Technique
GUIDE Technique
Objectifs InfoNCE et SimCLR
InfoNCE est la perte contrastive qui apprend à un modèle à rassembler les paires correspondantes et à séparer les paires incompatibles dans l'espace d'intégration.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
SimCLR est un framework historique qui a utilisé cette perte pour apprendre de puissantes représentations d'images à partir de données non étiquetées, rivalisant avec le pré-entraînement supervisé.
Plongée profonde
InfoNCE (Noise-Contrastive Estimation for mutual information) entraîne un encodeur afin qu'une requête et son vrai positif aient un score de similarité plus élevé que la requête et de nombreux négatifs. Il s’agit essentiellement d’une entropie croisée softmax sur les scores de similarité : pour une ancre, le positif devrait gagner contre les négatifs. SimCLR (2020) a opérationnalisé cela pour les images : prenez une image, appliquez deux augmentations aléatoires pour créer une paire positive, exécutez les deux via un encodeur partagé et une tête de projection, et utilisez l'entropie croisée normalisée à l'échelle de la température (NT-Xent, une variante d'InfoNCE) afin que les deux vues augmentées s'attirent tandis que toutes les autres images du lot agissent comme des négatifs. SimCLR a montré qu'une forte augmentation des données, une tête de projection non linéaire, des lots de grande taille et une température ajustée permettent aux modèles auto-supervisés de correspondre à ceux supervisés sur ImageNet - sans aucune étiquette pendant le pré-entraînement.
Mise en œuvre dans le monde réel
SimCLR pré-entraîne un encodeur d'image sur des photos non étiquetées, puis peaufine un petit ensemble étiqueté pour la classification.
CLIP utilisant un objectif InfoNCE pour faire correspondre les images avec leurs légendes, permettant ainsi une classification des images sans prise de vue.
Construire une recherche/récupération visuelle où des images similaires sont rapprochées les unes des autres dans l'espace d'intégration appris.
Pré-formation auto-supervisée pour l'imagerie médicale ou satellite où les étiquettes sont rares mais les données brutes sont abondantes.
L’avenir des objectifs d’InfoNCE et de SimCLR
Les objectifs contrastés s'étendent bien au-delà de SimCLR : CLIP aligne les images avec le texte à l'aide d'InfoNCE dans toutes les modalités, et la même perte entraîne les modèles audio, vidéo et de récupération. La recherche réduit désormais la dépendance à l'égard de lots énormes et de nombreux négatifs via des banques de mémoire (MoCo), ou supprime entièrement les négatifs explicites (BYOL, SimSiam, DINO). Attendez-vous à un mélange continu de pré-formation contrastive, de distillation et de modélisation masquée, avec un alignement multimodal (texte, image, audio) comme frontière dominante pour les modèles de base.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the InfoNCE and SimCLR Objectives quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Quels sont les objectifs d'InfoNCE et de SimCLR ?
InfoNCE est la perte contrastive qui apprend à un modèle à rassembler les paires correspondantes et à séparer les paires incompatibles dans l'espace d'intégration. SimCLR est un framework historique qui a utilisé cette perte pour apprendre de puissantes représentations d'images à partir de données non étiquetées, rivalisant avec le pré-entraînement supervisé.
Qu’est-ce que l’objectif InfoNCE encourage un modèle à faire ?
InfoNCE est un softmax sur les similarités qui récompense une similarité élevée pour les vrais positifs et une faible similarité pour les négatifs.
Dans SimCLR, comment est créée une paire positive ?
SimCLR génère une paire positive à partir de deux vues augmentées de la même image source ; d'autres images servent de négatifs.
Quel rôle joue la température τ dans NT-Xent / InfoNCE ?
Diviser les similitudes par τ avant softmax contrôle la précision avec laquelle la perte distingue les positifs des négatifs durs.
Qu'arrive-t-il à la tête de projection du SimCLR après le pré-entraînement ?
SimCLR a constaté que les fonctionnalités avant la tête de projection se transfèrent mieux, de sorte que la tête est jetée après le pré-entraînement.
Pourquoi SimCLR s’est-il appuyé sur des lots de grande taille ?
Dans SimCLR, les autres images du lot agissent comme des négatifs, donc des lots plus grands donnent plus de négatifs et un apprentissage plus fort.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet