A continuaciónSiguiente guía
Pesos y sesgos
Empresas
GUÍA de empresas
EleutherAI
EleutherAI es un colectivo de investigación de base sin fines de lucro que fue pionero en modelos de lenguajes grandes de código abierto cuando la IA fronteriza estaba encerrada detrás de los muros corporativos.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
Demostró que una comunidad de voluntarios podría construir y lanzar libremente modelos que rivalicen con los sistemas cerrados, remodelando quién puede participar en la investigación de la IA.
Buceo profundo
EleutherAI comenzó en julio de 2020 como una comunidad de Discord organizada por Connor Leahy, Sid Black y Leo Gao, con el objetivo original de replicar el GPT-3 de OpenAI. Para entrenar dichos modelos, primero construyeron y lanzaron The Pile, un conjunto de datos de texto curado de 825 GB que se convirtió en un corpus de entrenamiento abierto estándar. Luego lanzaron GPT-Neo, GPT-J-6B y GPT-NeoX-20B de 20 mil millones de parámetros, entre los modelos de lenguaje más grandes disponibles abiertamente de su tiempo. Sus herramientas, incluida la biblioteca de capacitación GPT-NeoX y el arnés de evaluación LM que se utilizan en toda la industria para realizar evaluaciones comparativas, se convirtieron en la infraestructura sobre la que otros construyeron. En 2023, EleutherAI se formalizó como un instituto de investigación sin fines de lucro, ampliándose hacia la interpretabilidad, la alineación y la ciencia de cómo aprenden los modelos.
Implementación en el mundo real
Investigadores de todo el mundo utilizan el conjunto de datos Pile para entrenar y estudiar modelos de lenguaje abierto de forma reproducible.
GPT-J-6B y GPT-NeoX-20B son implementados por nuevas empresas y académicos como alternativas gratuitas a los modelos API comerciales.
El arnés de evaluación LM es la herramienta estándar que utilizan muchos laboratorios para comparar el rendimiento del modelo en cientos de tareas.
Investigadores independientes de seguridad e interpretabilidad utilizan los pesos abiertos de EleutherAI para estudiar los componentes internos del modelo que ocultan las API cerradas.
El futuro de EleutherAI
EleutherAI está pasando de una carrera pura de escalamiento de modelos hacia la interpretabilidad, la transparencia de los datos de entrenamiento y la evaluación rigurosa, áreas donde la ciencia abierta es más necesaria. Espere un trabajo continuo para comprender lo que representan los modelos internamente, publicar conjuntos de datos bien documentados y respaldar la investigación de seguridad independiente. A medida que los laboratorios fronterizos se vuelven más secretos, el papel de EleutherAI como contrapeso de interés público, capacitando a la próxima generación de investigadores, probablemente importe más que el recuento de parámetros de cualquier modelo que envíe.
Poniéndolo en práctica
Por qué es importante
- Estrategia del proveedor. Las hojas de ruta de los proveedores influyen en las funciones que su equipo puede desarrollar a continuación.
- Costo y presupuesto. Los términos comerciales y las opciones de implementación afectan los costos y riesgos a largo plazo.
- Riesgo y seguridad. Los incentivos de las empresas dan forma a los incumplimientos de los productos, la postura de seguridad y la apertura.
cuidado con
- Los anuncios de lanzamiento pueden superar la estabilidad en los flujos de trabajo de producción reales.
- Los precios de API o los cambios de políticas pueden romper los supuestos de la noche a la mañana.
- La dependencia de un único proveedor aumenta los costos de bloqueo y migración.
Próximos pasos
- Evalúe proveedores utilizando sus propias tareas y conjuntos de datos.
- Revise los términos legales, de seguridad y de privacidad antes de la integración.
- Mantenga un plan alternativo entre modelos o proveedores.
- Supervise las notas de la versión para que los cambios en la hoja de ruta no sorprendan a los equipos.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the EleutherAI quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es EleutherAI?
EleutherAI es un colectivo de investigación de base sin fines de lucro que fue pionero en modelos de lenguajes grandes de código abierto cuando la IA fronteriza estaba encerrada detrás de los muros corporativos. Demostró que una comunidad de voluntarios podría construir y lanzar libremente modelos que rivalicen con los sistemas cerrados, remodelando quién puede participar en la investigación de la IA.
How did EleutherAI first bring together its research community?
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
¿Qué es 'La Pila'?
The Pile es un corpus de texto grande, diverso y publicado abiertamente que EleutherAI creó para entrenar y estudiar modelos de lenguaje.
¿Cuál de estos es un modelo de lenguaje EleutherAI?
GPT-NeoX-20B es uno de los modelos abiertos emblemáticos de EleutherAI; los demás provienen de Google o Meta.
¿Para qué se utiliza el arnés de evaluación LM?
El arnés es una herramienta abierta ampliamente adoptada para la evaluación estandarizada de modelos de lenguaje en cientos de puntos de referencia.
Which organizations are named in EleutherAI’s retrospective as research supporters?
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.