A continuaciónSiguiente guía
IA de código abierto
Empresas
GUÍA de empresas
LAION y conjuntos de datos abiertos
LAION es una organización alemana sin fines de lucro que lanzó conjuntos masivos de datos abiertos de imágenes y texto, el más famoso LAION-5B, que impulsó el entrenamiento de modelos generativos abiertos como Stable Diffusion.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
Es importante porque puso datos multimodales a escala web a disposición de investigadores fuera de las grandes corporaciones.
Buceo profundo
LAION (Red abierta de inteligencia artificial a gran escala) es una organización alemana sin fines de lucro fundada en 2021 para democratizar la investigación en aprendizaje automático mediante la publicación de grandes conjuntos de datos abiertos. Su versión más conocida, LAION-5B, contiene aproximadamente 5,850 millones de pares de imagen y texto filtrados a partir de datos web de rastreo común utilizando el modelo CLIP de OpenAI para mantener los pares donde se alinean el título y la imagen. LAION distribuye URL y metadatos mientras los archivos de imagen originales permanecen en sus servidores web. El conjunto de datos ayudó a los investigadores a entrenar y estudiar modelos abiertos de imagen-texto, incluido Stable Diffusion. En diciembre de 2023, los investigadores informaron URL de material sospechoso de abuso sexual infantil en LAION-5B, y LAION retiró el conjunto de datos para una revisión de seguridad. En agosto de 2024, LAION describió las versiones de Re-LAION creadas comparando registros existentes con listas hash proporcionadas por socios. El comunicado excluye los vínculos sospechosos conocidos identificados por esos socios a partir de julio de 2024; LAION establece explícitamente que los filtros no pueden garantizar que todo el contenido dañino haya sido eliminado de los datos a escala web.
Implementación en el mundo real
Entrenamiento de modelos abiertos de conversión de texto a imagen, como Stable Diffusion, en miles de millones de pares de imágenes y títulos
Creación y evaluación comparativa de sistemas de clasificación de disparo cero y recuperación de texto de imagen estilo CLIP
Investigación del sesgo del conjunto de datos, la seguridad del contenido y la procedencia de los datos a escala web
Filtrar subconjuntos por idioma, resolución o puntuación estética para crear conjuntos de datos de ajuste especializados
El futuro de LAION y los conjuntos de datos abiertos
Los conjuntos de datos multimodales abiertos enfrentarán una presión cada vez mayor en torno a los derechos de autor, el consentimiento y el contenido dañino, lo que impulsará hacia un filtrado más sólido, una recopilación basada en licencias y registros de exclusión voluntaria. La nueva publicación de LAION de un conjunto de datos limpio indica un cambio hacia la auditoría de seguridad como paso predeterminado. Espere más datos sintéticos o con licencia, estándares de procedencia y herramientas de detección. La tensión entre el acceso abierto para los laboratorios pequeños y los riesgos legales y éticos de los datos extraídos de la web definirá la siguiente fase de la construcción de conjuntos de datos.
Poniéndolo en práctica
Por qué es importante
- Estrategia del proveedor. Las hojas de ruta de los proveedores influyen en las funciones que su equipo puede desarrollar a continuación.
- Costo y presupuesto. Los términos comerciales y las opciones de implementación afectan los costos y riesgos a largo plazo.
- Riesgo y seguridad. Los incentivos de las empresas dan forma a los incumplimientos de los productos, la postura de seguridad y la apertura.
cuidado con
- Los anuncios de lanzamiento pueden superar la estabilidad en los flujos de trabajo de producción reales.
- Los precios de API o los cambios de políticas pueden romper los supuestos de la noche a la mañana.
- La dependencia de un único proveedor aumenta los costos de bloqueo y migración.
Próximos pasos
- Evalúe proveedores utilizando sus propias tareas y conjuntos de datos.
- Revise los términos legales, de seguridad y de privacidad antes de la integración.
- Mantenga un plan alternativo entre modelos o proveedores.
- Supervise las notas de la versión para que los cambios en la hoja de ruta no sorprendan a los equipos.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the LAION and Open Datasets quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es LAION y los conjuntos de datos abiertos?
LAION es una organización alemana sin fines de lucro que lanzó conjuntos masivos de datos abiertos de imágenes y texto, el más famoso LAION-5B, que impulsó el entrenamiento de modelos generativos abiertos como Stable Diffusion. Es importante porque puso datos multimodales a escala web a disposición de investigadores fuera de las grandes corporaciones.
¿Qué distribuye principalmente LAION en sus conjuntos de datos de imágenes y texto?
LAION no aloja imágenes; distribuye URL y metadatos, para que los usuarios obtengan imágenes de sus fuentes web originales.
¿Aproximadamente cuántos pares de imagen y texto hay en LAION-5B?
LAION-5B contiene alrededor de 5.850 millones de pares de imagen-texto, de ahí el '5B' en su nombre.
¿Qué modelo utilizó LAION para filtrar pares de imagen y texto para determinar la calidad de la alineación?
LAION utilizó el CLIP de OpenAI para medir la similitud de la imagen y el título y descartar pares mal coincidentes.
¿Qué modelo generativo abierto destacado se entrenó utilizando datos de LAION?
Stable Diffusion, un modelo abierto de texto a imagen, se entrenó con datos de imagen-texto de LAION.
¿Qué cuestión llevó a LAION a retirar LAION-5B en diciembre de 2023?
Los investigadores identificaron URL de sospechosos de CSAM en LAION-5B. LAION retiró el conjunto de datos y luego describió una revisión utilizando listas hash proporcionadas por socios; Esto no establece que todos los enlaces sospechosos estuvieran activos o que se hayan eliminado todos los posibles elementos dañinos.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.