A Modal planeja executar seus sandboxes de agentes de IA na nova CPU Vera da Nvidia, o que representa sua primeira mudança para longe dos chips x86 da Intel e da AMD. Em testes próprios não verificados, a Vera processou até o dobro de tarefas de um servidor Intel quando carregada com contêineres. A Modal não informou quando os sandboxes com Vera estarão disponíveis.

Qual chip a Modal usará para seus sandboxes de agentes de IA?

A Modal planeja executar seus sandboxes de agentes de IA na nova CPU Vera da Nvidia, uma mudança que marca a primeira saída da empresa da arquitetura x86 dos chips fabricados pela Intel e pela AMD. Nos testes da própria Modal, o chip processou até o dobro de tarefas de um servidor Intel quando o servidor estava carregado com contêineres. A empresa anunciou o plano em uma postagem de blog na segunda-feira. Os resultados não foram verificados de forma independente.

A Vera utiliza a arquitetura de chips da Arm, por isso a mudança vai além da troca de hardware. A Modal precisará modificar sua infraestrutura e o sistema que usa para criar imagens de software. A Nvidia entregou pessoalmente o primeiro servidor Vera da empresa no escritório da Modal em San Francisco na semana passada, segundo a companhia.

Sandboxes são computadores isolados nos quais agentes de IA executam o código que eles próprios escrevem. A Modal afirmou que o produto gera US$ 300 milhões por ano. A empresa revelou esse número na semana passada, quando captou US$ 750 milhões com avaliação de US$ 15,75 bilhões.

Por que as cargas de trabalho dos sandboxes de agentes de IA são difíceis de prever?

As cargas de trabalho dos sandboxes são difíceis de prever. Um agente pode ficar ocioso enquanto espera a resposta de um modelo de IA e, em seguida, exigir de repente dez vezes mais poder computacional durante a instalação de um software. Centenas desses sandboxes rodam lado a lado em cada servidor, o que significa que um pico de uso de um cliente pode desacelerar o trabalho de outro.

Para testar o chip, a Modal criou um benchmark com 50 tarefas de programação, incluindo a compilação de software e a busca em arquivos. Quando as tarefas foram executadas uma a uma, a Vera costumava ser mais rápida que os chips da Intel, da AMD e da Amazon. Nem sempre ela foi mais rápida, e a vantagem não foi grande.

Quão mais rápida é a CPU Vera da Nvidia nos testes da Modal?

A diferença aumentou sob cargas mais pesadas. Quando a Modal carregou o servidor com contêineres, a Vera continuou concluindo tarefas na mesma velocidade enquanto os chips concorrentes atingiam um limite, segundo a empresa. A Modal atribui à alta largura de banda de memória da Vera a diferença.

Esse desempenho é importante para dois usos, segundo a Modal: agentes de programação em segundo plano e aprendizado por reforço. No aprendizado por reforço, GPUs caras frequentemente ficam ociosas até que o trabalho da CPU termine, e uma CPU mais rápida mantém esses aceleradores ocupados.

A Nvidia apresentou a Vera em março como uma CPU criada para agentes de IA. Ela tem 88 núcleos, e a empresa citou a Anthropic e a OpenAI entre seus primeiros usuários. A Perplexity disse que executará trabalhos de agentes no chip após relatar tarefas de programação 1,5 vez mais rápidas.

Concorrentes também estão desenvolvendo produtos de sandboxes. A Baseten comprou a Blaxel em setembro. A Modal não informou quando os sandboxes com Vera estarão disponíveis para os clientes.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.