A continuaciónSiguiente guía
Fusión de modelos
Técnico
GUÍA de empresas
Fusión del modelo evolutivo de IA de Sakana
Sakana AI es un laboratorio con sede en Tokio que aplica métodos inspirados en la naturaleza a la IA, en particular utilizando algoritmos evolutivos para fusionar modelos abiertos existentes en otros nuevos y mejores.
En esta pagina2 minutos de lectura
Descripción general
En lugar de entrenar desde cero, "crea" modelos combinando automáticamente sus puntos fuertes.
Buceo profundo
Sakana AI fue fundada en 2023 por Llion Jones, coautor del artículo original de Transformer 'La atención es todo lo que necesitas', y David Ha, ex miembro de Google Brain. El nombre significa "pez" en japonés, lo que refleja una filosofía inspirada en escuelas y enjambres: muchos agentes pequeños y colectivos en lugar de un modelo gigante. Su innovadora técnica, Evolutionary Model Merging, utiliza la búsqueda evolutiva para descubrir cómo combinar los pesos y capas de múltiples modelos de código abierto previamente entrenados. El algoritmo explora miles de recetas de combinación, manteniendo combinaciones que obtienen buenos resultados en las tareas objetivo. Sakana utilizó esto para crear modelos capaces de visión y matemáticas en japonés y en japonés fusionando modelos existentes, a una pequeña fracción del costo de entrenar otros nuevos. La empresa también produjo el 'AI Scientist', un sistema que intenta automatizar la propia investigación.
Impacto Estratégico
Estrategia del proveedor
Las hojas de ruta de los proveedores influyen en las funciones que su equipo puede desarrollar a continuación.
Costo y presupuesto
Los términos comerciales y las opciones de implementación afectan los costos y riesgos a largo plazo.
Riesgo y seguridad
Los incentivos de las empresas dan forma a los incumplimientos de los productos, la postura de seguridad y la apertura.
El futuro de la fusión del modelo evolutivo de IA de Sakana
La fusión evolutiva insinúa un futuro en el que se ensamblarán nuevos modelos capaces a partir de una creciente biblioteca de modelos abiertos de forma económica, democratizando el acceso más allá de los laboratorios con enormes presupuestos informáticos. Combinado con el 'Científico de IA' automatizado de Sakana, la visión a largo plazo son los sistemas de IA que ayudan a descubrir sus propias mejoras. Las preguntas abiertas incluyen evitar modelos fusionados que hereden errores o sesgos, y si la búsqueda evolutiva escala al rendimiento a nivel de frontera en lugar de especializar principalmente los modelos existentes.
Implementación en el mundo real
Crear un modelo de lenguaje sólido con capacidad para japonés fusionando modelos abiertos en inglés y japonés sin necesidad de volver a capacitarlos.
Construcción de un modelo japonés de razonamiento matemático mediante la evolución de combinaciones de modelos especializados en matemáticas
Producir un modelo de lenguaje visual que maneje texto japonés en imágenes mediante fusión entre dominios
Permitir que las organizaciones más pequeñas ensamblen modelos de tareas específicas de forma económica a partir de pesos abiertos en lugar de capacitarlos desde cero.
Riesgos y barandillas
Los anuncios de lanzamiento pueden superar la estabilidad en los flujos de trabajo de producción reales.
Los precios de API o los cambios de políticas pueden romper los supuestos de la noche a la mañana.
La dependencia de un único proveedor aumenta los costos de bloqueo y migración.
Hoja de ruta de implementación
Evalúe proveedores utilizando sus propias tareas y conjuntos de datos.
Revise los términos legales, de seguridad y de privacidad antes de la integración.
Mantenga un plan alternativo entre modelos o proveedores.
Supervise las notas de la versión para que los cambios en la hoja de ruta no sorprendan a los equipos.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Preguntas frecuentes
¿Qué es la fusión del modelo evolutivo de IA de Sakana?
Sakana AI es un laboratorio con sede en Tokio que aplica métodos inspirados en la naturaleza a la IA, en particular utilizando algoritmos evolutivos para fusionar modelos abiertos existentes en otros nuevos y mejores. En lugar de entrenar desde cero, "crea" modelos combinando automáticamente sus puntos fuertes.
¿Qué hace realmente la fusión del modelo evolutivo de Sakana AI?
Desarrolla recetas para combinar múltiples pesos y capas de modelos abiertos previamente entrenados, en lugar de entrenarlos de nuevo.
¿Quién es un cofundador destacado de Sakana AI?
Llion Jones, coautor de 'Attention Is All You Need', cofundó Sakana con David Ha.
¿Qué significa y refleja el nombre 'Sakana'?
Sakana significa pez; la empresa prefiere muchos pequeños agentes colectivos a un modelo monolítico.
¿El modelo de evolución de Sakana se fusiona en qué dos espacios?
Busca cómo ponderar/interpolar parámetros y qué capas apilar y en qué orden.
Además de la fusión de modelos, ¿qué sistema ambicioso introdujo Sakana?
Sakana lanzó el 'AI Scientist', un sistema que intenta automatizar partes del proceso de investigación en sí.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.