Um desenvolvedor de software que criticou publicamente a OpenAI por usar WebRTC em seus produtos de IA de voz afirma que a tecnologia é a ferramenta errada para o trabalho, e o desenvolvedor defende uma alternativa chamada Media over QUIC, ou MoQ. O argumento, apresentado em um post de acompanhamento intitulado “OpenAI still has a WebRTC Problem”, surge depois que a primeira publicação do desenvolvedor se tornou viral no Hacker News.
\nO desenvolvedor afirma que dois engenheiros da OpenAI, Sean DuBois e Justin Uberti, ambos especialistas em WebRTC, entraram em contato após a primeira publicação. O texto de acompanhamento não recua. Ele argumenta que o WebRTC foi criado para chamadas de conferência, nas quais as pessoas falam em tempo real, e que a forma como lida com áudio perdido funciona contra a IA de voz.
\nPor que o WebRTC descarta áudio atrasado na IA de voz?
O problema central, segundo o post, está na forma como o WebRTC trata pacotes atrasados. O protocolo descarta qualquer áudio que chegue tarde demais para ser reproduzido em tempo real, e o post define esse limite em cerca de 30 milissegundos. O WebRTC consegue detectar a perda de pacotes e solicitar retransmissões, mas as retransmissões vêm desativadas por padrão para áudio e, mesmo quando ativadas, o buffer de jitter do áudio não espera por elas.
\nPara uma pessoa em uma chamada de vídeo, essa troca faz sentido. Quem perde uma palavra pode pedir que o outro lado a repita. Um modelo de IA de voz não consegue fazer o mesmo sem um resultado desastrado. O desenvolvedor usa um exemplo simples: um usuário pergunta: “Qual é a capital da França?”. Se a rede descartar parte dessa pergunta, o modelo pode ouvir apenas fragmentos e responder com “Desculpe, a ligação caiu, pode repetir?”. O post afirma que a IA frequentemente não consegue receber a frase completa a tempo, e os tokens gerados a partir do áudio parcial são desperdiçados.
\nPor que o WebRTC é inadequado para a saída de conversão de texto em fala?
O desenvolvedor também argumenta que o problema ocorre no sentido oposto. O WebRTC renderiza o áudio com base no momento em que ele chega, e não nos timestamps que indicam quando ele deveria ser reproduzido. Isso dificulta o envio de uma saída de conversão de texto em fala gerada mais rápido do que o tempo real. O agente precisa pausar antes de enviar cada pacote para manter a reprodução no ritmo correto, e qualquer pacote perdido durante a transmissão se perde definitivamente.
\nO que é o Media over QUIC (MoQ)?
O MoQ adota uma abordagem diferente. Em vez de descartar o áudio atrasado, ele envia tudo o mais rápido possível e deixa o player receptor armazená-lo em buffer. Os pacotes perdidos são retransmitidos enquanto o assinante estiver disposto a esperar, o que, segundo o desenvolvedor, pode chegar a cinco segundos na demonstração. O desenvolvedor argumenta que esse custo é baixo, observando que um segundo de áudio Opus a 64 Kbps equivale a cerca de 8 KB, que podem ser enviados em aproximadamente seis pacotes QUIC.
\nO post também aborda as interrupções, que são mais difíceis de tratar quando o áudio já está armazenado em buffer. A solução do desenvolvedor é trocar para uma nova faixa de áudio quando o usuário interrompe a fala, descartando o buffer antigo. Segundo ele, isso funciona em qualquer player compatível com MoQ e usa timestamps para manter o áudio sincronizado.
\nO post reconhece que o WebRTC tem alguns recursos úteis. O NetEQ, buffer de jitter do áudio, ajusta a velocidade de reprodução com base no jitter, embora não com base na perda de pacotes. As retransmissões de áudio podem ser ativadas por meio de SDP munging, que o desenvolvedor chama de repugnante, mas o buffer de jitter ainda assim não espera por elas. A extensão RTP de playout-delay é adequada para IA de voz, mas se aplica apenas a vídeo.
\nO desenvolvedor afirma que o maior obstáculo é o Google. O WebRTC é mantido pelo Google e é necessário para o suporte na web, e o post argumenta que o protocolo foi moldado em torno do Google Meet, e não da IA de voz. O desenvolvedor diz que o playout-delay foi incorporado há cerca de 10 anos e que o áudio ainda não o suporta. Ele também afirma que a equipe da Twitch testou o WebRTC em outro projeto e concluiu que os requisitos de tempo real geravam uma experiência ruim para o usuário, o que levou ao trabalho com o MoQ. Segundo o desenvolvedor, esses esforços não convenceram o Google a mudar de direção.
\nO post faz um pedido específico à OpenAI, que, na avaliação do desenvolvedor, tem influência suficiente para pressionar por mudanças. O desenvolvedor lista várias correções propostas para submeter ao Google e à comunidade mais ampla do WebRTC, incluindo a implementação de playout-delay para áudio, a possibilidade de o buffer de jitter crescer nas duas direções e a renderização de áudio com base em timestamps.
\nO desenvolvedor também afirma que o Pipecat, um framework de código aberto para agentes de voz, agora oferece suporte ao MoQ. O post atribui a implementação a um colaborador chamado Vanessa e ao uso do Claude Code. O desenvolvedor observa que a demonstração ainda pede, às vezes, “Pode repetir?”, porque ele controla apenas o primeiro e o último trecho do pipeline. Os serviços de conversão de fala em texto e de texto em fala de provedores como Deepgram, OpenAI e Cartesia estão fora desse controle.
\nO post também responde a um contra-argumento levantado nos comentários: o de que o WebRTC tolera a perda de pacotes porque usa correção de erros direta (FEC). O desenvolvedor afirma que o FEC cobre apenas um pacote perdido e não consegue lidar com rajadas de perda, que são comuns em congestionamentos. Ele argumenta que a retransmissão por meio de uma rede de entrega de conteúdo é mais adequada para o primeiro e o último trecho da rede, que são suscetíveis a perdas.
\nO desenvolvedor encerra o post com várias propostas, incluindo a execução de relays nas bordas de uma CDN e a execução de modelos onde houver GPUs disponíveis, o que permitiria às empresas escalar rede e computação separadamente. Ele também sugere manter o áudio descartado na memória e enviá-lo depois, com a menor prioridade, para que possa ser usado como dados de treinamento. O post afirma que o desenvolvedor está buscando investidores e contratando, e não está claro se alguma das propostas foi adotada pela OpenAI ou pelo Google.
Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.