A continuaciónSiguiente guía
Pesos y sesgos
Empresas
GUÍA de empresas
EleutherAI
EleutherAI es un colectivo de investigación de base sin fines de lucro que fue pionero en modelos de lenguajes grandes de código abierto cuando la IA fronteriza estaba encerrada detrás de los muros corporativos.
En esta pagina2 minutos de lectura
Descripción general
Demostró que una comunidad de voluntarios podría construir y lanzar libremente modelos que rivalicen con los sistemas cerrados, remodelando quién puede participar en la investigación de la IA.
Buceo profundo
EleutherAI comenzó en julio de 2020 como una comunidad de Discord organizada por Connor Leahy, Sid Black y Leo Gao, con el objetivo original de replicar el GPT-3 de OpenAI. Para entrenar dichos modelos, primero construyeron y lanzaron The Pile, un conjunto de datos de texto curado de 825 GB que se convirtió en un corpus de entrenamiento abierto estándar. Luego lanzaron GPT-Neo, GPT-J-6B y GPT-NeoX-20B de 20 mil millones de parámetros, entre los modelos de lenguaje más grandes disponibles abiertamente de su tiempo. Sus herramientas, incluida la biblioteca de capacitación GPT-NeoX y el arnés de evaluación LM que se utilizan en toda la industria para realizar evaluaciones comparativas, se convirtieron en la infraestructura sobre la que otros construyeron. En 2023, EleutherAI se formalizó como un instituto de investigación sin fines de lucro, ampliándose hacia la interpretabilidad, la alineación y la ciencia de cómo aprenden los modelos.
Impacto Estratégico
Estrategia del proveedor
Las hojas de ruta de los proveedores influyen en las funciones que su equipo puede desarrollar a continuación.
Costo y presupuesto
Los términos comerciales y las opciones de implementación afectan los costos y riesgos a largo plazo.
Riesgo y seguridad
Los incentivos de las empresas dan forma a los incumplimientos de los productos, la postura de seguridad y la apertura.
El futuro de EleutherAI
EleutherAI está pasando de una carrera pura de escalamiento de modelos hacia la interpretabilidad, la transparencia de los datos de entrenamiento y la evaluación rigurosa, áreas donde la ciencia abierta es más necesaria. Espere un trabajo continuo para comprender lo que representan los modelos internamente, publicar conjuntos de datos bien documentados y respaldar la investigación de seguridad independiente. A medida que los laboratorios fronterizos se vuelven más secretos, el papel de EleutherAI como contrapeso de interés público, capacitando a la próxima generación de investigadores, probablemente importe más que el recuento de parámetros de cualquier modelo que envíe.
Implementación en el mundo real
Investigadores de todo el mundo utilizan el conjunto de datos Pile para entrenar y estudiar modelos de lenguaje abierto de forma reproducible.
GPT-J-6B y GPT-NeoX-20B son implementados por nuevas empresas y académicos como alternativas gratuitas a los modelos API comerciales.
El arnés de evaluación LM es la herramienta estándar que utilizan muchos laboratorios para comparar el rendimiento del modelo en cientos de tareas.
Investigadores independientes de seguridad e interpretabilidad utilizan los pesos abiertos de EleutherAI para estudiar los componentes internos del modelo que ocultan las API cerradas.
Riesgos y barandillas
Los anuncios de lanzamiento pueden superar la estabilidad en los flujos de trabajo de producción reales.
Los precios de API o los cambios de políticas pueden romper los supuestos de la noche a la mañana.
La dependencia de un único proveedor aumenta los costos de bloqueo y migración.
Hoja de ruta de implementación
Evalúe proveedores utilizando sus propias tareas y conjuntos de datos.
Revise los términos legales, de seguridad y de privacidad antes de la integración.
Mantenga un plan alternativo entre modelos o proveedores.
Supervise las notas de la versión para que los cambios en la hoja de ruta no sorprendan a los equipos.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Preguntas frecuentes
¿Qué es EleutherAI?
EleutherAI es un colectivo de investigación de base sin fines de lucro que fue pionero en modelos de lenguajes grandes de código abierto cuando la IA fronteriza estaba encerrada detrás de los muros corporativos. Demostró que una comunidad de voluntarios podría construir y lanzar libremente modelos que rivalicen con los sistemas cerrados, remodelando quién puede participar en la investigación de la IA.
¿Cómo empezó EleutherAI originalmente en 2020?
EleutherAI comenzó como un colectivo informal de voluntarios de Discord organizado para replicar el entonces cerrado GPT-3.
¿Qué es 'La Pila'?
The Pile es un corpus de texto grande, diverso y publicado abiertamente que EleutherAI creó para entrenar y estudiar modelos de lenguaje.
¿Cuál de estos es un modelo de lenguaje EleutherAI?
GPT-NeoX-20B es uno de los modelos abiertos emblemáticos de EleutherAI; los demás provienen de Google o Meta.
¿Para qué se utiliza el arnés de evaluación LM?
El arnés es una herramienta abierta ampliamente adoptada para la evaluación estandarizada de modelos de lenguaje en cientos de puntos de referencia.
¿Cómo obtuvo EleutherAI la computación para entrenar modelos grandes desde el principio?
Al carecer de un centro de datos corporativo, EleutherAI dependió de recursos de TPU y GPU donados por patrocinadores para entrenar sus modelos.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.