À suivreGuide suivant
Désalignement de la diffusion des fonctionnalités en ligne et hors ligne
Technique
GUIDE Technique
Minage négatif en ligne et dur
L'exploitation minière négative dure sélectionne les exemples les plus informatifs et les plus difficiles à distinguer sur lesquels s'entraîner au lieu de gaspiller des efforts sur les exemples faciles sur lesquels le modèle fonctionne déjà correctement.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It is the trick that makes metric learning and object detection converge fast and accurately.
Plongée profonde
Lors d'un entraînement avec des pertes de triplet ou de contraste, la plupart des négatifs échantillonnés de manière aléatoire sont déjà loin de l'ancre, ils ne produisent donc aucune perte et aucun gradient, ni décrochage d'entraînement. Le minage négatif résout ce problème en sélectionnant des négatifs durs : des exemples qui sont mal proches de l'ancre. Dans l'exploitation minière hors ligne, vous analysez périodiquement l'ensemble de données pour les trouver, ce qui est lent et devient obsolète. Le minage en ligne les calcule à la volée au sein de chaque mini-lot : après une passe avant, vous examinez toutes les distances par paires dans le lot et sélectionnez les contrevenants les plus durs. FaceNet a introduit le minage semi-dur, en choisissant les négatifs plus loin que les positifs mais toujours dans la marge, évitant ainsi l'instabilité que les négatifs les plus durs peuvent provoquer au début de l'entraînement.
Mise en œuvre dans le monde réel
Formation à la reconnaissance faciale : FaceNet utilise l'exploration de données en ligne semi-dure pour apprendre les intégrations qui séparent les individus sosies.
Détection d'objets : les détecteurs SSD et similaires appliquent une extraction négative dure pour équilibrer le flot de boîtes d'arrière-plan faciles par rapport aux boîtes d'objets rares.
Récupération de passages denses : les systèmes de recherche et RAG extraient des documents négatifs durs qui semblent pertinents mais ne le sont pas, ce qui affine le récupérateur.
Systèmes de recommandation : les modèles extraient les éléments sur lesquels un utilisateur n'a pas cliqué mais qui ressemblaient à des éléments cliqués, enseignant des distinctions de goût plus fines.
L’avenir du minage en ligne et dur négatif
Le principe, s'entraîner sur ce qui est difficile, conduit désormais à un apprentissage contrastif auto-supervisé, dans lequel de grands pools négatifs par lots (et des banques de mémoire comme MoCo) fournissent des comparaisons difficiles sans étiquettes. Les chercheurs sont en train d'affiner la dureté d'un négatif, car les négatifs trop durs se révèlent souvent être des positifs mal étiquetés ou presque dupliqués qui corrompent la formation. Attendez-vous à une extraction plus intelligente et tenant compte de l'incertitude et à des négatifs durs synthétiques générés par le modèle lui-même, ainsi qu'à une intégration plus étroite avec des systèmes de récupération qui extraient les négatifs durs à partir de requêtes d'utilisateurs réels.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Online and Hard Negative Mining quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is Online and Hard Negative Mining?
L'exploitation minière négative dure sélectionne les exemples les plus informatifs et les plus difficiles à distinguer sur lesquels s'entraîner au lieu de gaspiller des efforts sur les exemples faciles sur lesquels le modèle fonctionne déjà correctement. C’est l’astuce qui fait converger l’apprentissage métrique et la détection d’objets de manière rapide et précise.
Pourquoi la plupart des négatifs échantillonnés au hasard fournissent-ils peu de signaux d’entraînement en cas de perte de triplet ?
Les négatifs faciles se situent bien au-delà de la marge, satisfont déjà la perte et ne contribuent essentiellement à aucun gradient, donc la formation s'arrête.
Qu'est-ce qui distingue le minage en ligne du minage hors ligne ?
L'exploitation minière en ligne calcule les distances par paires à l'intérieur du lot actuel à chaque étape, tandis que l'exploitation minière hors ligne analyse périodiquement l'ensemble des données et peut devenir obsolète.
Qu'est-ce qu'un négatif « semi-dur » tel que défini dans FaceNet ?
Les négatifs semi-durs sont plus éloignés de l'ancre que les positifs mais tombent à l'intérieur de la marge, donnant des dégradés utiles et stables sans l'instabilité des cas les plus difficiles absolus.
Dans le minage par lots, quel négatif est choisi pour chaque ancre ?
L'exploitation minière par lots sélectionne les cas les plus difficiles : pour chaque ancre, elle prend le positif le plus éloigné et le négatif le plus proche (le plus déroutant) du lot.
Pourquoi une taille de lot plus grande a-t-elle tendance à améliorer les résultats d’apprentissage des métriques ?
Un lot plus gros produit une matrice de distance par paire plus grande, il y a donc plus de négatifs candidats à exploiter le plus durement à chaque étape.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet