À suivreGuide suivant
Restauration du transformateur SwinIR
IA visuelle
GUIDE DE L'IA Visuelle
Détection du transformateur DETR
DETR (DEtection TRansformer) recadre la détection d'objets comme un problème de prédiction d'ensemble direct résolu avec un transformateur, supprimant les étapes conçues à la main telles que les boîtes d'ancrage et la suppression non maximale.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
C’est important car cela a donné à la détection un pipeline propre de bout en bout qui a inspiré une vague de modèles de vision basés sur des transformateurs.
Plongée profonde
Introduit par Facebook AI en 2020, DETR combine une dorsale CNN avec un encodeur-décodeur à transformateur. Le CNN extrait les caractéristiques de l'image ; l'encodeur mélange le contexte global sur toute l'image ; et le décodeur prend un ensemble fixe de « requêtes d'objet » apprises et transforme chacune d'elles en un objet détecté (classe plus cadre de délimitation) ou en un résultat « sans objet ». La nouveauté clé est la correspondance bipartite : pendant la formation, un algorithme hongrois trouve une affectation biunivoque entre les prédictions et les objets de vérité terrain, de sorte que le modèle apprend à générer directement une boîte unique par objet. Cela élimine la suppression non maximale et le réglage de l'ancre. Les compromis étaient une convergence lente et une précision plus faible pour les petits objets, ce que des suivis comme Deformable DETR ont résolu.
Mise en œuvre dans le monde réel
Détecter et encadrer les piétons et les véhicules dans des ensembles de données de recherche sur la conduite autonome
Optimiser la segmentation panoptique lorsqu'elle est étendue à la prédiction de masque par pixel
Servir d'architecture de base pour les détecteurs à vocabulaire ouvert et de mise à la terre
Localisation d'objets dans des images d'étagères de vente au détail sans régler les tailles d'ancrage par ensemble de données
L'avenir de la détection des transformateurs DETR
DETR a lancé toute une famille de transformateurs de détection. Des variantes telles que Deformable DETR, DAB-DETR, DN-DETR et DINO ont considérablement accéléré la formation et amélioré la précision, les modèles de style DINO atteignant le sommet des références de détection. Le paradigme de bout en bout basé sur les requêtes s'étend désormais à la segmentation, au suivi et à la détection 3D, et les détecteurs à vocabulaire ouvert s'appuient sur lui. Attendez-vous à une convergence continue de la détection, de la segmentation et de l’ancrage du langage dans des architectures de transformateur unifiées, DETR étant considéré comme l’étape cruciale qui a supprimé les heuristiques artisanales.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. L’IA visuelle peut automatiser les tâches d’inspection, de détection et de marquage à grande échelle.
- Choix de construction. Les équipes créatives peuvent prototyper des concepts plus rapidement avec moins de révisions manuelles.
- Équipe et flux de travail. Les opérations peuvent utiliser des signaux d’image et vidéo qui étaient auparavant difficiles à traiter.
Attention à
- Les droits à l’image et le consentement peuvent devenir des risques juridiques si la provenance n’est pas claire.
- Les performances du modèle peuvent varier en fonction de l'éclairage, des données démographiques et des environnements.
- Les faux positifs peuvent passer inaperçus si les seuils de confiance ne sont pas surveillés.
Prochaines étapes
- Définissez des critères d’acceptation pour la précision, le rappel et les coûts d’erreur.
- Testez avec des données qui correspondent aux conditions de production réelles.
- Ajoutez un examen humain pour les prédictions peu fiables ou à fort impact.
- Suivez la dérive du modèle et revalidez après les modifications de la caméra ou de l’ensemble de données.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the DETR Transformer Detection quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que la détection de transformateur DETR ?
DETR (DEtection TRansformer) recadre la détection d'objets comme un problème de prédiction d'ensemble direct résolu avec un transformateur, supprimant les étapes conçues à la main telles que les boîtes d'ancrage et la suppression non maximale. C’est important car cela a donné à la détection un pipeline propre de bout en bout qui a inspiré une vague de modèles de vision basés sur des transformateurs.
Qu'est-ce que DETR supprime par rapport aux détecteurs traditionnels comme Faster R-CNN ?
DETR est de bout en bout et prédit directement un ensemble de boîtes, éliminant les ancres et l'étape de post-traitement de suppression non maximale.
Quel algorithme DETR utilise-t-il pour faire correspondre les prédictions aux objets de vérité terrain pendant l'entraînement ?
DETR utilise l'algorithme hongrois pour former une affectation un à un entre les prédictions et les objets de vérité terrain pour sa perte définie.
Que sont les « requêtes d'objet » de DETR ?
Les requêtes d'objets sont un nombre fixe de vecteurs appris ; le décodeur convertit chacun en une prédiction d'objet ou en un résultat « sans objet ».
Quelle architecture globale DETR combine-t-il ?
DETR associe un squelette convolutif pour les fonctionnalités à un codeur-décodeur de transformateur pour une prédiction définie.
Comment l'objectif d'entraînement de DETR prend-il en charge l'inférence sans une étape NMS séparée ?
The learning objective encourages a unique prediction per object; this is a design and training mechanism rather than an infallibility guarantee.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet