A continuaciónSiguiente guía
Detección de transformador DETR
IA visual
GUÍA visual de IA
Redes de transformadores espaciales
Las redes de transformadores espaciales (STN) son módulos que se pueden aprender y que permiten que una red neuronal deforme, rote, recorte o reescale activamente su entrada para centrarse en lo que importa.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
Le dan a las CNN una sensación incorporada de atención espacial e invariancia.
Buceo profundo
Las redes convolucionales estándar solo son débilmente invariantes a los cambios de posición, escala y rotación, y dependen de la agrupación para tener un poco de tolerancia. Redes de transformadores espaciales, presentadas por Jaderberg et al. en 2015, solucione este problema insertando un módulo diferenciable que realiza una transformación geométrica explícita en mapas de características. El módulo tiene tres partes: una red de localización que predice los parámetros de transformación, un generador de cuadrícula que construye una cuadrícula de muestreo a partir de esos parámetros y un muestreador que interpola la entrada en los puntos de la cuadrícula. Debido a que cada paso es diferenciable, todo el transformador se entrena de un extremo a otro mediante retropropagación sin supervisión adicional. La red aprende, por ejemplo, a enderezar dígitos inclinados o a acercar la región relevante, aumentando la precisión y la solidez.
Implementación en el mundo real
Enderezar y alinear texto curvo o rotado antes del reconocimiento en sistemas OCR de texto de escena
Ampliar regiones discriminativas (como el pico o el ala de un pájaro) para una clasificación de imágenes detallada
Normalizar la postura y la alineación del rostro como paso previo al procesamiento en los procesos de reconocimiento facial
Corrección de distorsiones y alineación de escaneos en el registro de imágenes médicas.
El futuro de las redes de transformadores espaciales
Los STN influyeron en la forma en que las redes manejan la geometría y la atención, alimentando convoluciones deformables y módulos de deformación aprendida. Si bien ahora dominan los transformadores de autoatención, el muestreo diferenciable estilo STN persiste en tareas que necesitan una alineación geométrica explícita: reconocimiento de texto, clasificación detallada y normalización de pose. Es de esperar que la deformación diferenciable siga apareciendo en la visión 3D, la representación neuronal y el registro de imágenes médicas, a menudo combinada con la atención en lugar de ser reemplazada por ella.
Poniéndolo en práctica
Por qué es importante
- Velocidad y escala. La IA visual puede automatizar tareas de inspección, detección y etiquetado a escala.
- Construir opciones. Los equipos creativos pueden crear prototipos de conceptos más rápido y con menos revisiones manuales.
- Equipo y flujo de trabajo. Las operaciones pueden utilizar señales de imagen y vídeo que antes eran difíciles de procesar.
cuidado con
- Los derechos de imagen y el consentimiento pueden convertirse en riesgos legales si la procedencia no está clara.
- El rendimiento del modelo puede variar según la iluminación, la demografía y los entornos.
- Los falsos positivos pueden pasar desapercibidos a menos que se controlen los umbrales de confianza.
Próximos pasos
- Defina criterios de aceptación para costos de precisión, recuperación y error.
- Pruebe con datos que coincidan con las condiciones reales de producción.
- Agregue revisión humana para predicciones de baja confianza o de alto impacto.
- Realice un seguimiento de la deriva del modelo y vuelva a validarlo después de cambios en la cámara o el conjunto de datos.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Spatial Transformer Networks quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué son las redes de transformadores espaciales?
Las redes de transformadores espaciales (STN) son módulos que se pueden aprender y que permiten que una red neuronal deforme, rote, recorte o reescale activamente su entrada para centrarse en lo que importa. Le dan a las CNN una sensación incorporada de atención espacial e invariancia.
¿Qué capacidad agrega una red de transformadores espaciales a una red neuronal?
Los STN insertan un módulo de aprendizaje que puede traducir, rotar, escalar o deformar mapas de características para centrarse en contenido relevante.
¿Qué tres componentes componen un módulo transformador espacial?
Un STN consta de una red de localización (predice parámetros), un generador de cuadrícula (construye coordenadas de muestreo) y un muestreador (interpola la entrada).
¿Por qué se puede entrenar una red de transformadores espaciales con retropropagación ordinaria?
La interpolación bilineal en el muestreador es diferenciable, por lo que los gradientes regresan a través del generador de red a la red de localización, lo que permite el entrenamiento de un extremo a otro.
¿Qué genera normalmente la red de localización para una transformación afín?
Para transformaciones afines, la red de localización predice seis valores dispuestos como una matriz de 2x3 que codifica traducción, escala, rotación y corte.
¿Por qué las CNN estándar son sólo débilmente invariantes a los cambios espaciales, lo que motiva las STN?
Las CNN logran sólo una modesta invariancia espacial mediante la agrupación; Los STN añaden una forma explícita y fácil de aprender de manejar la posición, la escala y la rotación.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.