Edición de instrucciones de InstructPix2Pix
InstructPix2Pix te permite editar una foto escribiendo un comando simple como "hacer que sea invierno" o "convertir al gato en perro", sin necesidad de máscaras ni herramientas de selección.
Descripción general
It taught a diffusion model to follow editing instructions directly.
Buceo profundo
InstructPix2Pix (Brooks et al., 2023) es un modelo de difusión ajustado para tomar una imagen de entrada más una instrucción de texto y generar la imagen editada en un solo paso hacia adelante. Su truco inteligente son los datos de entrenamiento: los autores usaron GPT-3 para generar pares de títulos de antes y después, luego usaron Prompt-to-Prompt con Stable Diffusion para sintetizar pares de imágenes coincidentes de antes/después. Eso les dio un gran conjunto de datos de tripletes (imagen original, instrucciones, imagen editada) para entrenar, todo sin etiquetado manual. Debido a que las instrucciones describen un cambio en lugar de una escena completa, el modelo conserva partes de la imagen que no se mencionan. Utiliza dos escalas de orientación, una para saber qué tan fielmente sigue las instrucciones y otra para qué tan fielmente se apega a la imagen original, lo que permite a los usuarios compensar la fuerza de la edición con la fidelidad.
Información técnica
El modelo condiciona tanto la imagen de origen como la instrucción, aplicando una guía sin clasificador a lo largo de dos ejes. Una escala pesa la instrucción de texto, la otra pesa la imagen de entrada. Aumentar la escala de la imagen mantiene intacta una mayor parte del original, mientras que aumentar la escala del texto hace que la edición sea más agresiva. Esta guía dual es lo que permite que una única instrucción genérica cambie de forma fiable un aspecto y al mismo tiempo deje reconocible el resto de la fotografía.
Impacto Estratégico
Speed and scale
La IA visual puede automatizar tareas de inspección, detección y etiquetado a escala.
Construir opciones
Los equipos creativos pueden crear prototipos de conceptos más rápido y con menos revisiones manuales.
Equipo y flujo de trabajo
Las operaciones pueden utilizar señales de imagen y vídeo que antes eran difíciles de procesar.
El futuro de la edición de instrucciones de InstructPix2Pix
La edición basada en instrucciones se está convirtiendo en la interfaz predeterminada para las herramientas de imágenes, ahora integrada en aplicaciones convencionales y sucesoras como MagicBrush y editores emergentes de múltiples turnos. Espere una mejor preservación de los detalles finos, un manejo confiable de instrucciones espaciales como "mover la lámpara a la izquierda" y una extensión perfecta del video, donde un comando edita un clip completo. Combinar estos modelos con agentes lingüísticos podría permitirle describir una sesión de edición completa de forma conversacional.
Implementación en el mundo real
Un blogger escribe "agregar follaje de otoño" para cambiar el aspecto de una foto de un paisaje de verano para una publicación de temporada.
Un vendedor de comercio electrónico indica "cambiar el color de la camisa a azul marino" para producir variantes de color del producto de una sola vez.
Un profesor edita una fotografía histórica con "colorear esto" para hacer que una imagen de archivo en blanco y negro sea vívida para una lección.
Un creador de memes ordena 'ponerle gafas de sol al perro' sin enmascarar manualmente la cara del perro.
Riesgos y barandillas
Los derechos de imagen y el consentimiento pueden convertirse en riesgos legales si la procedencia no está clara.
El rendimiento del modelo puede variar según la iluminación, la demografía y los entornos.
Los falsos positivos pueden pasar desapercibidos a menos que se controlen los umbrales de confianza.
Hoja de ruta de implementación
Defina criterios de aceptación para costos de precisión, recuperación y error.
Pruebe con datos que coincidan con las condiciones reales de producción.
Agregue revisión humana para predicciones de baja confianza o de alto impacto.
Realice un seguimiento de la deriva del modelo y vuelva a validarlo después de cambios en la cámara o el conjunto de datos.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Edición interactiva DragGAN
Preguntas frecuentes
What is InstructPix2Pix Instruction Editing?
InstructPix2Pix te permite editar una foto escribiendo un comando simple como "hacer que sea invierno" o "convertir al gato en perro", sin necesidad de máscaras ni herramientas de selección. Enseñó a un modelo de difusión a seguir directamente las instrucciones de edición.
¿Cómo le dices a InstructPix2Pix qué cambiar?
Simplemente escribe una instrucción como "haz que sea invierno"; no se necesitan máscaras ni selección de región.
¿Cómo se crearon los datos de entrenamiento de InstructPix2Pix?
Los autores combinaron pares de subtítulos generados por GPT-3 con síntesis de imágenes de solicitud a solicitud para crear tripletas automáticamente.
¿Qué controlan las dos escalas de orientación de InstructPix2Pix?
Una escala gobierna con qué intensidad la edición sigue las instrucciones; el otro gobierna qué parte de la imagen original se conserva.
¿Por qué el modelo tiende a dejar partes de la imagen que no se mencionan?
Una instrucción apunta a un cambio específico, por lo que el modelo conserva las regiones que la instrucción no menciona.
¿Cuántos pases hacia adelante necesita InstructPix2Pix para producir una edición?
Es un modelo de difusión condicional único que toma la imagen y las instrucciones juntas y genera la edición.