Aprendizaje autosupervisado
El aprendizaje autosupervisado entrena modelos a partir de datos sin etiquetar inventando una tarea cuya respuesta está oculta dentro de los propios datos.
Descripción general
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
Buceo profundo
Etiquetar datos a mano es lento y costoso, pero el mundo está lleno de texto, imágenes, audio y vídeo sin etiquetar. El aprendizaje autosupervisado lo desbloquea mediante la creación de "tareas de pretexto" en las que los datos proporcionan su propia respuesta. El ejemplo clásico es el modelado de lenguaje enmascarado, utilizado por BERT: oculta algunas palabras en una oración y entrena el modelo para predecirlas a partir del contexto. Los modelos de estilo GPT predicen la siguiente palabra. En visión, los métodos contrastantes como SimCLR muestran al modelo dos cultivos aumentados de la misma imagen y le enseñan que van juntos mientras separan imágenes diferentes. Resolver estos acertijos hechos por uno mismo obliga al modelo a construir ricas representaciones internas de significado y estructura. Luego, esas representaciones se transfieren poderosamente a tareas reales posteriores con pocos o ningún dato etiquetado.
Información técnica
El truco consiste en generar una señal de supervisión de forma gratuita. En el modelado enmascarado, el token oculto es la etiqueta, por lo que se puede calcular una pérdida sin ninguna anotación humana. En el aprendizaje contrastivo, dos aumentos de una imagen forman un "par positivo" que debe ubicarse cerca en el espacio de incrustación, mientras que otras imágenes son "negativas" alejadas. De cualquier manera, el modelo se optimiza en etiquetas derivadas puramente de la propia estructura de los datos, aprendiendo características generales que luego solo necesitan un ligero ajuste.
Impacto Estratégico
Decisiones más claras
Le ayuda a separar las afirmaciones técnicas claras del lenguaje de marketing.
Costo y presupuesto
Puede hacer mejores preguntas sobre implementación antes de gastar dinero o tiempo.
Equipo y flujo de trabajo
Los equipos con conocimientos compartidos toman mejores decisiones sobre productos, políticas y aprendizaje.
El futuro del aprendizaje autosupervisado
El aprendizaje autosupervisado es el motor detrás de los modelos básicos actuales, y ese papel no hará más que crecer. La tendencia clara es hacia el preentrenamiento multimodal, donde un único modelo aprende conjuntamente a partir de texto, imágenes, audio y video utilizando objetivos autosupervisados. Los investigadores están avanzando más allá de los métodos contrastantes hacia enfoques de predicción enmascarada en la visión y técnicas de autodestilación que no necesitan ejemplos negativos. A medida que los datos etiquetados de alta calidad se conviertan en un cuello de botella, aprender estructuras útiles directamente a partir de grandes flujos no etiquetados seguirá siendo la estrategia central para escalar la IA.
Implementación en el mundo real
BERT aprende el lenguaje prediciendo palabras enmascaradas y luego ajustándolas para búsqueda, sentimiento o respuesta a preguntas
SimCLR prepara previamente un codificador de imágenes en fotografías sin etiquetar para que luego pueda clasificarlas con muy pocas etiquetas
Modelos de estilo GPT que aprenden a escribir prediciendo repetidamente el siguiente token en grandes corpus de texto
Modelos de voz entrenados previamente en audio sin etiquetar (prediciendo segmentos de sonido enmascarados) antes de adaptarlos a la transcripción.
Riesgos y barandillas
Diferentes equipos pueden usar el mismo término de manera diferente, por lo tanto, defina el alcance con anticipación.
Los puntos de referencia pueden parecer sólidos, mientras que el desempeño en el mundo real es desigual.
Ignorar la calidad de los datos y los planes de evaluación a menudo genera resultados frágiles.
Hoja de ruta de implementación
Comience con una definición en lenguaje sencillo del resultado que necesita.
Elija una métrica de éxito y una condición de fracaso antes de realizar la prueba.
Ejecute un pequeño piloto con datos representativos, no un conjunto de demostración pulido.
Documente dónde ayuda el aprendizaje autosupervisado y dónde son mejores los métodos más simples.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Aprendizaje supervisado
Preguntas frecuentes
What is Self-Supervised Learning?
El aprendizaje autosupervisado entrena modelos a partir de datos sin etiquetar inventando una tarea cuya respuesta está oculta dentro de los propios datos. Así es como los modelos modernos de lenguaje y visión aprenden de la cruda Internet sin ejércitos de etiquetadores humanos.
¿Qué hace que el aprendizaje sea "autosupervisado"?
El aprendizaje autosupervisado inventa una tarea de pretexto donde la respuesta está oculta en los datos, por lo que no es necesario un etiquetado humano.
¿Por qué el aprendizaje autosupervisado es tan valioso para los modelos básicos?
Debido a que la señal de supervisión proviene de los datos mismos, los modelos se pueden entrenar previamente en enormes corpus sin etiquetar de la web.
Después del preentrenamiento autosupervisado, ¿qué suele pasar a continuación?
El entrenamiento previo crea representaciones generales que se transfieren bien, por lo que solo se necesita un ligero ajuste de los datos etiquetados para tareas específicas.
¿En qué se diferencia la tarea autosupervisada de un modelo de estilo GPT de la de BERT?
Los modelos de estilo GPT están entrenados para predecir el siguiente token en una secuencia, mientras que BERT predice tokens enmascarados utilizando el contexto izquierdo y derecho.