A seguirPróximo guia
Normalização de texto para fala
IA de áudio
GUIA de IA de áudio
Discurso Moshi Full-Duplex
Moshi é uma IA de voz em tempo real e de código aberto da Kyutai que fala e ouve ao mesmo tempo – full-duplex – em vez de fazer turnos rígidos.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Visão geral
That removes the awkward lag and rigid turn-taking of traditional voice assistants.
Mergulho profundo
Moshi, lançado pelo laboratório francês Kyutai em 2024, é um modelo básico de fala para fala construído para conversas naturais e de baixa latência. Ao contrário dos assistentes de pipeline que encadeiam a fala ao texto, depois um modelo de linguagem e depois o texto para a fala, o Moshi lida com o áudio direta e continuamente. Sua ideia principal é full duplex: ele modela dois fluxos de áudio simultaneamente – o do usuário e o seu próprio – para que possa ouvir enquanto fala, lidar com interrupções, fazer backchannel com ‘mhm’ e se sobrepor naturalmente como os humanos fazem. Atinge latência em torno de 160-200 milissegundos, muito abaixo do atraso típico do assistente. Nos bastidores, ele emparelha um modelo de linguagem de texto e áudio com parâmetros de 7B (Helium) com Mimi, um codec de áudio neural que compacta a fala em tokens discretos que o modelo pode gerar. Kyutai divulgou os pesos e o código abertamente.
Implementação no mundo real
Um companheiro de voz viva-voz que você pode interromper no meio de uma frase, com respostas em menos de 200 milissegundos.
Linha de base de pesquisa aberta para estudar diálogos falados full-duplex em tempo real, sem caixas pretas proprietárias.
Assistentes de acessibilidade que conversam fluidamente com usuários que precisam de trocas rápidas e naturais.
Prototipagem de bots de voz interrompíveis de atendimento ao cliente que canalizam e reagem enquanto o chamador ainda está falando.
O futuro da fala full-duplex Moshi
A modelagem full-duplex está se tornando o modelo para IA de voz natural, influenciando sistemas em todo o setor. Espere versões menores no dispositivo, suporte multilíngue, menor latência e integração com agentes, atendimento ao cliente e ferramentas de acessibilidade. Como o Moshi é aberto, os pesquisadores podem testá-lo e melhorá-lo livremente. Persistem desafios em torno da fiabilidade factual, da segurança na sobreposição de discursos e das nuances emocionais, mas a mudança de uma troca de turnos rígida para uma conversa fluida e interrompível é provavelmente permanente.
Colocando em prática
Por que isso importa
- Acesso e alcance. Melhora a acessibilidade por meio de transcrição, narração e interfaces de voz.
- Custo e orçamento. As equipes de mídia podem enviar áudio sofisticado com mais rapidez e com orçamentos menores.
- Velocidade e escala. Os sistemas voltados para o cliente podem processar interações faladas em maior escala.
Cuidado com
- Os riscos de uso indevido de voz e falsificação de identidade aumentam quando falta consentimento.
- A precisão pode diminuir em sotaques, dialetos ou ambientes barulhentos.
- O áudio sintético pode ser confundido com fala autêntica sem uma rotulagem clara.
Próximas etapas
- Obtenha consentimento explícito para captura, clonagem e reutilização de voz.
- Teste a qualidade em diversos alto-falantes e condições de fundo.
- Defina quando um ser humano deve revisar ou aprovar os resultados.
- Rotule o áudio sintético e mantenha registros de procedência para fins de prestação de contas.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the Moshi Full-Duplex Speech quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
What is Moshi Full-Duplex Speech?
Moshi é uma IA de voz em tempo real e de código aberto da Kyutai que fala e ouve ao mesmo tempo – full-duplex – em vez de fazer turnos rígidos. Isso elimina o atraso estranho e a rígida alternância de turnos dos assistentes de voz tradicionais.
O que significa 'full-duplex' no contexto de Moshi?
Full-duplex significa que o modelo lida com áudio de entrada e saída simultaneamente, para que possa ouvir enquanto fala e lidar com interrupções naturalmente.
Qual organização lançou Moshi?
Moshi foi desenvolvido e de código aberto por Kyutai, um laboratório francês de pesquisa de IA, em 2024.
O que é Mimi no sistema Moshi?
Mimi é o codec de áudio neural que compacta a fala contínua em um fluxo de tokens discretos de baixa taxa de bits que o modelo pode gerar.
Como o Moshi difere de um pipeline de assistente de voz tradicional?
Assistentes tradicionais encadeiam fala para texto, um modelo de linguagem e texto para fala; Moshi é um modelo único de fala para fala que lida com áudio continuamente.
Aproximadamente qual latência de conversação o Moshi visa?
Moshi atinge latência em torno de 160-200 ms, muito inferior à dos assistentes de voz típicos, permitindo sobreposição e interrupção naturais.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico