A seguirPróximo guia
Mesclagem de modelos
Técnico
GUIA DE EMPRESAS
Fusão do modelo evolutivo Sakana AI
Sakana AI é um laboratório com sede em Tóquio que aplica métodos inspirados na natureza à IA, principalmente usando algoritmos evolutivos para fundir modelos abertos existentes em novos e melhores.
Nesta página2 minutos de leitura
Visão geral
Em vez de treinar do zero, ele “cria” modelos combinando automaticamente seus pontos fortes.
Mergulho profundo
Sakana AI foi fundada em 2023 por Llion Jones, coautor do artigo original do Transformer 'Attention Is All You Need', e David Ha, ex-AIU_PROTECTED_11__ Brain. O nome significa “peixe” em japonês, reflectindo uma filosofia inspirada em cardumes e enxames: muitos pequenos agentes colectivos em vez de um modelo gigante. Sua técnica inovadora, Evolutionary Model Merging, usa pesquisa evolucionária para descobrir como combinar os pesos e camadas de vários modelos de código aberto pré-treinados. O algoritmo explora milhares de receitas de mesclagem, mantendo combinações com boa pontuação nas tarefas alvo. Sakana usou isso para criar modelos capazes de matemática e visão em língua japonesa e em japonês, mesclando modelos existentes, por uma pequena fração do custo de treinamento de novos. A empresa também produziu o ‘AI Scientist’, um sistema que tenta automatizar a própria pesquisa.
Impacto Estratégico
Estratégia do fornecedor
Os roteiros dos fornecedores influenciam quais recursos sua equipe pode construir a seguir.
Custo e orçamento
Os termos comerciais e as opções de implantação afetam os custos e riscos a longo prazo.
Risco e segurança
Os incentivos da empresa moldam os padrões de produto, a postura de segurança e a abertura.
O futuro da fusão do modelo evolutivo Sakana AI
A fusão evolutiva sugere um futuro onde novos modelos capazes serão montados a partir de uma biblioteca crescente de modelos abertos de forma barata, democratizando o acesso além dos laboratórios com enormes orçamentos computacionais. Combinada com o 'Cientista de IA' automatizado de Sakana, a visão de longo prazo são sistemas de IA que ajudam a descobrir suas próprias melhorias. As questões em aberto incluem evitar modelos mesclados que herdam bugs ou preconceitos, e se a pesquisa evolutiva se adapta ao desempenho de nível de fronteira, em vez de especializar principalmente os modelos existentes.
Implementação no mundo real
Criação de um modelo de idioma forte com capacidade de japonês, mesclando modelos abertos em inglês e japonês sem reciclagem
Construindo um modelo de raciocínio matemático japonês através da evolução de combinações de modelos especializados em matemática
Produzindo um modelo de linguagem de visão que lida com texto japonês em imagens por meio de fusão entre domínios
Permitir que organizações menores montem modelos específicos de tarefas de forma barata a partir de pesos abertos, em vez de treinar do zero
Riscos e guarda-corpos
Os anúncios de lançamento podem superar a estabilidade em fluxos de trabalho de produção reais.
Os preços das APIs ou as mudanças nas políticas podem quebrar suposições da noite para o dia.
A dependência de um único fornecedor aumenta os custos de aprisionamento e migração.
Roteiro de implementação
Avalie os provedores usando suas próprias tarefas e conjuntos de dados.
Revise os termos legais, de privacidade e segurança antes da integração.
Mantenha um plano alternativo entre modelos ou fornecedores.
Monitore as notas de lançamento para que as mudanças no roteiro não surpreendam as equipes.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Perguntas frequentes
O que é a fusão do modelo evolutivo Sakana AI?
Sakana AI é um laboratório com sede em Tóquio que aplica métodos inspirados na natureza à IA, principalmente usando algoritmos evolutivos para fundir modelos abertos existentes em novos e melhores. Em vez de treinar do zero, ele “cria” modelos combinando automaticamente seus pontos fortes.
O que a fusão do modelo evolutivo da Sakana AI realmente faz?
Ele desenvolve receitas para combinar pesos e camadas de vários modelos abertos pré-treinados, em vez de treinar novamente.
Quem é um cofundador notável da Sakana AI?
Llion Jones, coautor de 'Attention Is All You Need', cofundou a Sakana com David Ha.
O que o nome 'Sakana' significa e reflete?
Sakana significa peixe; a empresa favorece muitos pequenos agentes coletivos em vez de um modelo monolítico.
Sakana evolui com fusões de modelos em quais dois espaços?
Ele pesquisa como ponderar/interpolar parâmetros e quais camadas empilhar e em que ordem.
Além da fusão de modelos, que sistema ambicioso Sakana introduziu?
Sakana lançou o 'AI Scientist', um sistema que tenta automatizar partes do próprio processo de pesquisa.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico