La empresa de inteligencia artificial con sede en París, ZML, anunció hoy que su nuevo servidor de inferencia LLMD está disponible de forma gratuita, lo que permite a los desarrolladores ejecutar modelos de lenguaje grande de código abierto en una amplia variedad de hardware, incluyendo GPUs de Nvidia, GPUs de AMD, TPUs de Google, el marco de trabajo Metal de Apple y GPUs Arc de Intel. La empresa afirma que la plataforma elimina los silos que obligan a los clientes a permanecer en ecosistemas de un solo proveedor, ofreciendo un rendimiento óptimo o incluso velocidades más rápidas en general.

El fundador y CEO Steeve Morin, un ex vicepresidente de ingeniería en Zenly (adquirida por Snapchat en 2017), le dijo a TechCrunch que la optimización de la inferencia se ha vuelto más crítica que la capacitación del modelo a medida que la inteligencia artificial se integra en los flujos de trabajo diarios. "La idea es darle a la gente el poder para crear su propio sistema y lograr ganancias de eficiencia reales que permitan diseminar la inteligencia artificial", dijo Morin.

El respaldo de ZML incluye al luminario de la inteligencia artificial Yann LeCun, quien actúa como asesor, y una ronda de serie A de 20 millones de dólares liderada por 20VC, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe, Puzzle Ventures y otros. El equipo delgado de la startup, de unos 20 ingenieros, ha podido moverse rápidamente, agregó Morin, citando la sede de la empresa en París como una ventaja estratégica.

LLMD no es de código abierto, pero el lanzamiento gratuito está diseñado para recolectar datos de uso del mundo real. Morin explicó que el enfoque permite a ZML medir la demanda antes de decidir sobre un modelo de precios, evitando una monetización prematura que podría obstaculizar la adopción. "Preferiría medir y luego generar ingresos donde sea más efectivo sin obstaculizar mi crecimiento de manera estúpida porque he sido demasiado codicioso desde el principio", dijo.

El producto llega en medio de lo que los observadores de la industria llaman una "fiebre del oro de la inferencia". Competidores como Baseten, Inferact (el equipo detrás de vLLM) y RadixArk (el brazo comercial de SGLang) también están apuntando al mercado en crecimiento rápido para el procesamiento eficiente de instrucciones. Aunque vLLM y SGLang se superponen con LLMD en funcionalidad, la compatibilidad de hardware más amplia de ZML lo diferencia, especialmente para las empresas que buscan mezclar y combinar chips por consideraciones de costo o energía.

Morin enfatizó que ZML mantiene una buena relación con Nvidia, el actual líder del mercado, incluso mientras la startup trabaja para ampliar las opciones de chips. "Hemos llegado al punto en el que estamos diseñando silicio conjuntamente", señaló, insinuando futuras colaboraciones que podrían incluir a fabricantes de chips emergentes europeos como Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud y VSORA.

Los analistas ven el movimiento como un posible disruptor para el mercado de hardware de inteligencia artificial, donde el bloqueo de proveedores ha impulsado las presiones sobre los precios. Al permitir que el mismo modelo se ejecute en procesadores menos costosos o más eficientes en términos energéticos, ZML podría ayudar a las empresas a reducir los costos operativos mientras mantiene el rendimiento.

Mirando hacia adelante, Morin dijo que el equipo tiene más lanzamientos planeados y sigue confiando en que París es el lugar correcto para construir la próxima generación de infraestructura de inteligencia artificial en Europa. "No podría hacer ZML en ningún otro lugar que en París", concluyó.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.