Apprentissage auto-supervisé
L'apprentissage auto-supervisé entraîne des modèles sur des données non étiquetées en inventant une tâche dont la réponse est cachée dans les données elles-mêmes.
Aperçu
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
Plongée profonde
L'étiquetage manuel des données est lent et coûteux, mais le monde regorge de textes, d'images, d'audio et de vidéo non étiquetés. L'apprentissage auto-supervisé le débloque en créant des « tâches prétextes » dans lesquelles les données fournissent leur propre réponse. L'exemple classique est la modélisation du langage masqué, utilisée par BERT : masquez certains mots dans une phrase et entraînez le modèle à les prédire à partir du contexte. Les modèles de style GPT prédisent le mot suivant. En vision, les méthodes contrastives comme SimCLR montrent au modèle deux cultures augmentées de la même image et lui apprennent qu'elles vont ensemble tout en séparant des images différentes. La résolution de ces énigmes auto-créées oblige le modèle à construire de riches représentations internes du sens et de la structure. Ces représentations sont ensuite puissamment transférées vers des tâches réelles en aval avec peu ou pas de données étiquetées.
Aperçu technique
L'astuce consiste à générer gratuitement un signal de supervision. Dans la modélisation masquée, le jeton caché est l'étiquette, donc une perte peut être calculée sans aucune annotation humaine. Dans l'apprentissage contrastif, deux augmentations d'une image forment une « paire positive » qui doit être proche dans l'espace d'intégration, tandis que les autres images sont des « négatives » repoussées. Quoi qu'il en soit, le modèle est optimisé sur des étiquettes dérivées uniquement de la propre structure des données, apprenant des caractéristiques générales qui ne nécessitent ensuite que de légers ajustements.
Impact stratégique
Décisions plus claires
Il vous aide à séparer les affirmations techniques claires du langage marketing.
Coût et budget
Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
Équipe et flux de travail
Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
L’avenir de l’apprentissage auto-supervisé
L'apprentissage auto-supervisé est le moteur des modèles de base actuels, et ce rôle ne fera que croître. La tendance est clairement à la préformation multimodale, où un modèle unique apprend conjointement à partir de textes, d'images, d'audio et de vidéo en utilisant des objectifs auto-supervisés. Les chercheurs vont au-delà des méthodes contrastées vers des approches de prédiction masquée dans les techniques de vision et d’auto-distillation qui ne nécessitent aucun exemple négatif. Alors que les données étiquetées de haute qualité deviennent un goulot d’étranglement, l’apprentissage de structures utiles directement à partir de vastes flux non étiquetés restera la stratégie centrale pour faire évoluer l’IA.
Mise en œuvre dans le monde réel
BERT apprend le langage en prédisant les mots masqués, puis affine la recherche, les sentiments ou la réponse aux questions
SimCLR pré-entraîne un encodeur d'image sur des photos non étiquetées afin qu'il puisse ensuite les classer avec très peu d'étiquettes
Les modèles de style GPT apprennent à écrire en prédisant à plusieurs reprises le prochain jeton sur d'énormes corpus de texte
Modèles vocaux pré-entraînés sur de l'audio brut non étiqueté (prédisant les segments sonores masqués) avant d'être adaptés à la transcription
Risques et garde-fous
Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Feuille de route de mise en œuvre
Commencez par une définition en langage simple du résultat dont vous avez besoin.
Choisissez une mesure de réussite et une condition d’échec avant de tester.
Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
Documentez les domaines dans lesquels l’apprentissage auto-supervisé est utile et les domaines dans lesquels les méthodes plus simples sont préférables.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Apprentissage supervisé
Questions fréquemment posées
What is Self-Supervised Learning?
L'apprentissage auto-supervisé entraîne des modèles sur des données non étiquetées en inventant une tâche dont la réponse est cachée dans les données elles-mêmes. C’est ainsi que les modèles de langage et de vision modernes apprennent de l’Internet brut, sans armées d’étiqueteurs humains.
Qu’est-ce qui rend l’apprentissage « auto-supervisé » ?
L’apprentissage auto-supervisé invente une tâche prétexte où la réponse est cachée dans les données, de sorte qu’aucun étiquetage humain n’est nécessaire.
Pourquoi l’apprentissage auto-supervisé est-il si précieux pour les modèles de base ?
Étant donné que le signal de supervision provient des données elles-mêmes, les modèles peuvent être pré-entraînés sur d'énormes corpus non étiquetés provenant du Web.
Après une préformation auto-supervisée, que se passe-t-il habituellement ensuite ?
Le pré-entraînement crée des représentations générales qui se transfèrent bien, de sorte que seul un léger réglage des données étiquetées est nécessaire pour des tâches spécifiques.
En quoi la tâche auto-supervisée d'un modèle de type GPT diffère-t-elle de celle du BERT ?
Les modèles de style GPT sont entraînés pour prédire le jeton suivant dans une séquence, tandis que BERT prédit les jetons masqués en utilisant à la fois le contexte gauche et droit.