A seguirPróximo guia
Pesos e preconceitos
Empresas
GUIA DE EMPRESAS
Eleuther AI
EleutherAI é um coletivo de pesquisa sem fins lucrativos que foi pioneiro em grandes modelos de linguagem de código aberto quando a IA de fronteira estava trancada atrás de muros corporativos.
Nesta página2 minutos de leitura
Visão geral
Isso provou que uma comunidade voluntária pode construir e liberar livremente modelos que rivalizam com sistemas fechados, remodelando quem participa da pesquisa em IA.
Mergulho profundo
EleutherAI começou em julho de 2020 como uma comunidade Discord organizada por Connor Leahy, Sid Black e Leo Gao, originalmente com o objetivo de replicar o GPT-3 de OpenAI. Para treinar esses modelos, eles primeiro construíram e lançaram The Pile, um conjunto de dados de texto com curadoria de 825 GB que se tornou um corpus de treinamento aberto padrão. Eles então lançaram o GPT-Neo, o GPT-J-6B e o GPT-NeoX-20B de 20 bilhões de parâmetros, entre os maiores modelos de linguagem disponíveis abertamente de seu tempo. Suas ferramentas, incluindo a biblioteca de treinamento GPT-NeoX e o LM Evaluation Harness usado em todo o setor para benchmarking, tornaram-se infraestruturas nas quais outros foram construídos. Em 2023, a EleutherAI formalizou-se como um instituto de pesquisa sem fins lucrativos, ampliando-se para a interpretabilidade, o alinhamento e a ciência de como os modelos aprendem.
Impacto Estratégico
Estratégia do fornecedor
Os roteiros dos fornecedores influenciam quais recursos sua equipe pode construir a seguir.
Custo e orçamento
Os termos comerciais e as opções de implantação afetam os custos e riscos a longo prazo.
Risco e segurança
Os incentivos da empresa moldam os padrões de produto, a postura de segurança e a abertura.
O futuro do EleutherAI
A EleutherAI está mudando de uma pura corrida de escalonamento de modelos em direção à interpretabilidade, transparência dos dados de treinamento e avaliação rigorosa, áreas onde a ciência aberta é mais necessária. Espere um trabalho contínuo para compreender o que os modelos representam internamente, lançando conjuntos de dados bem documentados e apoiando pesquisas independentes de segurança. À medida que os laboratórios de fronteira se tornam mais secretos, o papel da EleutherAI como contrapeso de interesse público, treinando a próxima geração de pesquisadores, provavelmente importa mais do que a contagem de parâmetros de qualquer modelo único que envia.
Implementação no mundo real
O conjunto de dados Pile é usado por pesquisadores em todo o mundo para treinar e estudar modelos de linguagem aberta de forma reproduzível.
GPT-J-6B e GPT-NeoX-20B são implantados por startups e acadêmicos como alternativas gratuitas aos modelos comerciais de API.
O LM Evaluation Harness é a ferramenta padrão que muitos laboratórios usam para avaliar o desempenho do modelo em centenas de tarefas.
Pesquisadores independentes de segurança e interpretabilidade usam os pesos abertos da EleutherAI para estudar os componentes internos do modelo que as APIs fechadas ocultam.
Riscos e guarda-corpos
Os anúncios de lançamento podem superar a estabilidade em fluxos de trabalho de produção reais.
Os preços das APIs ou as mudanças nas políticas podem quebrar suposições da noite para o dia.
A dependência de um único fornecedor aumenta os custos de aprisionamento e migração.
Roteiro de implementação
Avalie os provedores usando suas próprias tarefas e conjuntos de dados.
Revise os termos legais, de privacidade e segurança antes da integração.
Mantenha um plano alternativo entre modelos ou fornecedores.
Monitore as notas de lançamento para que as mudanças no roteiro não surpreendam as equipes.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Perguntas frequentes
O que é EleutherAI?
EleutherAI é um coletivo de pesquisa sem fins lucrativos que foi pioneiro em grandes modelos de linguagem de código aberto quando a IA de fronteira estava trancada atrás de muros corporativos. Provou que uma comunidade voluntária poderia construir e lançar livremente modelos que rivalizassem com sistemas fechados, remodelando quem pode participar na investigação de IA.
Como o EleutherAI começou originalmente em 2020?
EleutherAI começou como um coletivo informal de voluntários do Discord organizado para replicar o então fechado GPT-3.
O que é 'A Pilha'?
The Pile é um corpus de texto EleutherAI grande, diversificado e lançado abertamente, construído para treinar e estudar modelos de linguagem.
Qual destes é um modelo de linguagem EleutherAI?
GPT-NeoX-20B é um dos principais modelos abertos da EleutherAI; os demais vêm de Google ou Meta.
Para que é usado o arnês de avaliação LM?
O chicote é uma ferramenta aberta amplamente adotada para avaliação padronizada de modelos de linguagem em centenas de benchmarks.
Como a EleutherAI obteve a computação para treinar modelos grandes desde o início?
Na falta de um datacenter corporativo, a EleutherAI contou com recursos de TPU e GPU doados por patrocinadores para treinar seus modelos.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico