Moshi AI

Moshi AI é um modelo de diálogo multimodal em tempo real, de código aberto, desenvolvido pelo Laboratório Kyutai na França. Seu diferencial é o suporte à interação de voz em duplex total, permitindo que o usuário e a IA falem ao mesmo tempo, para uma conversa natural em tempo real.

As funções principais incluem diálogo de voz em duplex total em tempo real, processamento e fusão de informações multimodais (áudio, texto e visão), geração de voz com emoção, variações de estilos de voz e suporte a código aberto com implantação offline do modelo.

Sim. O Moshi AI oferece uma versão quantizada em 4 bits, suportando implantação offline e execução locais em Macs com chip M1 ou GPUs de consumo com 24 GB de VRAM.

Moshi AI é um projeto de código aberto; seu código, modelos pré-treinados e relatórios técnicos são disponibilizados gratuitamente. O uso depende dos recursos de computação locais, sem custos diretos.

O Moshi AI alcança latência ponta a ponta muito baixa: cerca de 80 ms para o processamento de áudio e aproximadamente 200 ms no conjunto, garantindo conversas em tempo real suaves.

É indicado para desenvolvedores com algum know-how técnico, pesquisadores e criadores de aplicações que precisam integrar recursos de voz em tempo real, como assistentes inteligentes, serviços de acessibilidade, criação de conteúdo e atendimento ao cliente.