General Compute, un proveedor de servicios de inferencia de inteligencia artificial en la nube, cerró una ronda de financiamiento de semilla de $15 millones a una valoración post-dinero de $60 millones. La ronda fue liderada por FUSE VC e incluyó a Carya Venture Partners y Village Global Ventures. La financiación acelerará el lanzamiento del servicio "neocloud" de la empresa, que renta potencia de procesamiento para la fase de la inteligencia artificial en la que los modelos generan respuestas en lugar de aprender de los datos.
Los fundadores de la startup, el CEO Finn Puklowski y el CTO Jason Goodison, citan dos cuellos de botella persistentes en el ecosistema de la inteligencia artificial: encontrar el chip adecuado para las cargas de trabajo de inferencia y ubicar espacio en centros de datos que puedan alojar ese hardware sin mejoras de infraestructura masivas. Mientras que las GPU han dominado la formación de la inteligencia artificial, son menos eficientes para la inferencia, lo que lleva a la industria a explorar silicio diseñado a propósito.
Los chips de SambaNova impulsan el nuevo neocloud
General Compute ha colaborado con SambaNova, un fabricante de chips respaldado por Intel que se enfoca en la inferencia. Los chips SN50 de SambaNova prometen 600-700 tokens por segundo, aproximadamente tres veces el rendimiento de las GPU convencionales, que manejan alrededor de 250 tokens por segundo. Los chips también cuentan con una arquitectura flexible y buffers de memoria más grandes, lo que les permite almacenar más contexto durante los cálculos.
A diferencia de muchos aceleradores de inteligencia artificial de alto rendimiento que requieren enfriamiento por agua y una gran cantidad de energía, el SN50 es enfriado por aire y consume menos electricidad. Ese diseño permite que el hardware se instale en instalaciones de centros de datos existentes sin nueva infraestructura de enfriamiento. Puklowski dice que la empresa ya ha ordenado $300 millones en unidades SN50 y será la primera neocloud en desplegarlos a gran escala.
Para superar el segundo obstáculo, encontrar espacio de rack adecuado, General Compute está buscando acuerdos de colocación. La empresa planea colocar su hardware no solo en sitios de centros de datos tradicionales, sino también en operaciones de minería de criptomonedas repurposadas, donde la capacidad excedente se puede redirigir a cargas de trabajo de inteligencia artificial. Este enfoque refleja tendencias recientes en las que los mineros rentan hardware inactivo para tareas de cómputo alternativas.
General Compute lanzó su oferta de servicios en la nube la semana pasada, destacando el rendimiento más rápido en MiniMax 2.7, un modelo de lenguaje grande de código abierto. El inversor de riesgo Joe Hasselmann, quien respaldó a la startup a través de su nuevo fondo de capital de riesgo enfocado en inteligencia artificial, Evercrest Capital Partners, ve la colaboración con SambaNova como un paralelo estratégico a colaboraciones anteriores como la dependencia de CoreWeave en las GPU de Nvidia y la integración de Groq de sus propios chips con servicios en la nube.
Los observadores de la industria señalan que el cambio hacia hardware de inferencia especializado refleja una reordenación más amplia del mercado. Empresas como Cerebras y Groq han asegurado recientemente financiamientos masivos o procedimientos de IPO, subrayando la demanda de inferencia más rápida y más barata. A medida que las aplicaciones de inteligencia artificial se mueven desde despliegues de un solo modelo a ecosistemas de múltiples agentes, la velocidad y el costo se convierten en factores competitivos decisivos.
Puklowski imagina convertir trabajos de inferencia de una hora, como agentes de generación de código, en tareas que terminen en cinco a diez minutos. La generación de tokens más rápida también permite agentes de audio más responsivos para casos de uso de servicio al cliente. "Si usas ChatGPT y te da 50 tokens por segundo, eso sigue siendo mucho más rápido de lo que podemos leer", dijo, destacando la necesidad de inferencia rápida a medida que los agentes de inteligencia artificial se vuelven más autónomos.
La ronda de financiamiento de semilla no solo proporciona el capital para comprar y desplegar la flota de SN50, sino que también valida el modelo de negocio de General Compute, que depende de la entrega de inferencia de alto rendimiento y bajo costo a una lista creciente de clientes. Con el respaldo de inversores experimentados y una clara ventaja de hardware, la empresa parece estar en posición de capturar una parte del creciente mercado de inferencia.
Este artículo fue escrito con la asistencia de IA.
News Factory SEO te ayuda a automatizar contenido de noticias para tu sitio.