Majestic Labs, una startup fundada en 2023 por ingenieros que anteriormente trabajaron en Google y Meta, presentó un nuevo servidor de IA que llama Prometheus. En lugar de confiar en unidades de procesamiento gráfico tradicionales, el sistema utiliza hasta 12 unidades de procesamiento de IA Ignite por carcasa. Cada unidad de procesamiento combina núcleos Arm con motores vectoriales y tensoriales RISC-V, y las unidades compartan una sola piscina de memoria LPDDR6 que va desde 8 TB hasta 128 TB. Esa memoria, común en teléfonos inteligentes, reemplaza la costosa memoria de alta banda (HBM) encontrada en la mayoría de las GPU.

La propuesta de la empresa se centra en un solo obstáculo técnico: el muro de memoria. En muchas cargas de trabajo de inferencia, los desarrolladores llegan a un techo no porque los chips de cómputo sean demasiado lentos, sino porque no pueden alcanzar suficiente memoria rápida. Los ingenieros de Majestic respondieron a eso desacoplando la memoria del procesador y agregándola a través de chiplets personalizados conectados por cables de cobre de hasta un metro de largo. El resultado, dicen, es una piscina de memoria coherente mucho más grande que cualquier diseño centrado en GPU pueda abordar.

Majestic compara Prometheus con la torre Nvidia DGX B300, que alberga ocho GPU Blackwell y 2,3 TB de HBM. Según la startup, una sola torre de Prometheus entrega más de 50 veces esa cantidad de memoria rápida mientras proporciona 1,7 veces la banda de interconexión. La misma torre, afirma Majestic, puede igualar la capacidad de memoria rápida de 25 torres Nvidia Vera Rubin, todo mientras consume una fracción de la potencia.

La historia del hardware se combina con un enfoque de software que busca mantener la transición indolora para los desarrolladores. Prometheus admite estándares abiertos como PyTorch, vLLM y OpenAI Triton, y Majestic afirma que los modelos construidos para GPU pueden ejecutarse en su plataforma sin modificaciones. La empresa dice que ya ha asegurado pedidos de grandes empresas, proveedores de nube nativa y hiperescaladores, aunque ninguna unidad ha salido de la fábrica.

Las afirmaciones de Majestic siguen sin verificación por pruebas independientes. Todas las cifras de rendimiento provienen de la propia empresa, y el servidor aún no se ha enviado. El diseño también plantea preguntas prácticas. Una piscina de memoria de 128 TB construida con chips LPDDR6 de 2 GB requeriría aproximadamente 64.000 chips individuales, lo que implica más de cien chiplets de agregación en un solo servidor. Mantener la coherencia en tantos componentes es un desafío de ingeniería no trivial.

A pesar de las incertidumbres, la startup ha atraído una importante financiación. A finales del año pasado, Majestic cerró una ronda de financiación de $100 millones, una suma modesta en comparación con los presupuestos de miles de millones de dólares de sus rivales más grandes. La empresa ahora emplea a unas 40 personas repartidas entre Tel Aviv y Los Ángeles, y planea comenzar a enviar hardware en el próximo año.

Majestic se une a una creciente lista de startups de hardware de IA que intentan socavar la dominancia de Nvidia desde ángulos no convencionales. Los competidores están explorando interconexiones ópticas, silicio de inferencia enfocado en el borde y equipo de red abierta. Cada enfoque apunta a una debilidad percibida diferente en la pila de Nvidia, ya sea el consumo de potencia, la latencia o, en el caso de Majestic, la escasez de memoria.

Cuando Prometheus finalmente llegue a los clientes, las pruebas independientes determinarán si la arquitectura de memoria en primer lugar cumple con su promesa. Hasta entonces, las afirmaciones audaces de la startup permanecen como una visión previa de un posible cambio en la forma en que se construyen y escalan las cargas de trabajo de IA.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.