Modal planea ejecutar sus sandboxes de agentes de IA en la nueva CPU Vera de Nvidia, su primer paso para alejarse de los chips x86 de Intel y AMD. En sus propias pruebas no verificadas, Vera manejó hasta el doble de tareas que un servidor Intel cuando se cargaba con contenedores. Modal no ha dicho cuándo estarán disponibles los sandboxes impulsados por Vera.

¿Qué chip usará Modal para sus sandboxes de agentes de IA?

Modal planea ejecutar sus sandboxes de agentes de IA en la nueva CPU Vera de Nvidia, un cambio que marca la primera salida de la compañía de los chips x86 fabricados por Intel y AMD. En las pruebas propias de Modal, el chip manejó hasta el doble de tareas que un servidor Intel cuando el servidor estaba cargado con contenedores. La compañía anunció el plan en una publicación de blog el lunes. Los resultados no han sido verificados de manera independiente.

Vera utiliza el diseño de chip de Arm, por lo que el cambio es más que un simple reemplazo de hardware. Modal tendrá que modificar su infraestructura y el sistema que usa para construir imágenes de software. Según Modal, Nvidia entregó en persona el primer servidor Vera de la compañía en su oficina de San Francisco la semana pasada.

Los sandboxes son computadores aislados donde los agentes de IA ejecutan el código que escriben. Modal afirmó que el producto genera 300 millones de dólares al año. La compañía dio a conocer esa cifra la semana pasada, cuando recaudó 750 millones de dólares con una valoración de 15.750 millones de dólares.

¿Por qué es difícil planear las cargas de trabajo de los sandboxes de agentes de IA?

Las cargas de trabajo en los sandboxes son difíciles de planear. Un agente puede permanecer inactivo mientras espera que un modelo de IA responda, y luego exigir de repente diez veces más poder de cómputo durante la instalación de un software. Cientos de estos sandboxes se ejecutan lado a lado en cada servidor, lo que significa que el pico de un cliente puede ralentizar el trabajo de otro.

Para probar el chip, Modal creó un punto de referencia de 50 tareas de programación, que incluyen compilar software y buscar archivos. Cuando las tareas se ejecutaron una a la vez, Vera fue con frecuencia más rápida que los chips de Intel, AMD y Amazon. No siempre fue más rápida, y la diferencia no fue grande.

¿Qué tan más rápida es la CPU Vera de Nvidia en las pruebas de Modal?

La brecha se amplió bajo cargas más pesadas. Cuando Modal cargó el servidor con contenedores, Vera siguió terminando las tareas a la misma velocidad mientras los chips rivales alcanzaban un límite, según la compañía. Modal atribuye la diferencia al alto ancho de banda de memoria de Vera.

Ese rendimiento es importante para dos usos, según Modal: los agentes de programación en segundo plano y el aprendizaje por refuerzo. En el aprendizaje por refuerzo, las costosas GPU suelen permanecer inactivas hasta que termina el trabajo de la CPU, por lo que una CPU más rápida mantiene esos aceleradores ocupados.

Nvidia presentó Vera en marzo como una CPU diseñada para agentes de IA. Tiene 88 núcleos, y la compañía ha citado a Anthropic y OpenAI entre sus primeros usuarios. Perplexity afirmó que ejecutará trabajo de agentes en el chip después de reportar tareas de programación que se ejecutaron 1,5 veces más rápido.

Los competidores también están desarrollando productos de sandboxes. Baseten compró Blaxel en septiembre. Modal no ha dicho cuándo los sandboxes impulsados por Vera estarán disponibles para los clientes.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.