A startup de IA francesa ZML anunciou hoje que seu novo servidor de inferência LLMD está disponível gratuitamente, permitindo que os desenvolvedores executem modelos de linguagem grandes de código aberto em uma ampla gama de hardware, incluindo GPUs Nvidia, GPUs AMD, TPUs do Google, framework Metal da Apple e GPUs Arc da Intel. A empresa afirma que a plataforma elimina os silos que forçam os clientes a entrar em ecossistemas de único fornecedor, entregando desempenho de pico - ou até mesmo velocidades mais rápidas - em toda a gama.

O fundador e CEO Steeve Morin, ex-VP de engenharia da Zenly (adquirida pelo Snapchat em 2017), disse à TechCrunch que a otimização da inferência se tornou mais crítica do que o treinamento de modelos à medida que a IA se incorpora aos fluxos de trabalho diários. "A ideia é dar às pessoas o poder de criar seu próprio sistema e alcançar ganhos de eficiência reais que permitam que a IA seja disseminada", disse Morin.

A ZML tem o apoio do luminar da IA Yann LeCun, que atua como consultor, e uma rodada de US$ 20 milhões da Série A liderada por 20VC, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe, Puzzle Ventures e outros. A equipe enxuta de cerca de 20 engenheiros da startup conseguiu se mover rapidamente, acrescentou Morin, citando a sede da empresa em Paris como uma vantagem estratégica.

O LLMD não é de código aberto, mas o lançamento gratuito é projetado para coletar dados de uso do mundo real. Morin explicou que a abordagem permite que a ZML meça a demanda antes de decidir sobre um modelo de preços, evitando a monetização prematura que poderia impedir a adoção. "Eu prefiro medir e então gerar receita onde ela é mais eficaz, sem impedir meu crescimento estupidamente porque fui muito ganancioso desde o início", disse ele.

O produto chega em um momento em que os observadores da indústria chamam de "corrida ao ouro da inferência". Competidores como Baseten, Inferact (a equipe por trás do vLLM) e RadixArk (o braço comercial da SGLang) também estão mirando o mercado em rápido crescimento para processamento de prompts eficiente. Embora o vLLM e a SGLang se sobreponham ao LLMD em funcionalidade, a compatibilidade de hardware mais ampla da ZML a diferencia, especialmente para as empresas que buscam misturar e combinar chips por considerações de custo ou energia.

Morin enfatizou que a ZML mantém uma boa relação com a Nvidia, o atual líder do mercado, mesmo enquanto a startup trabalha para ampliar as opções de chips. "Nós chegamos ao ponto em que estamos co-projetando silício", observou, insinuando colaborações futuras que poderiam incluir fabricantes de chips emergentes da Europa, como Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA.

Os analistas veem a movimentação como um potencial disruptor para o mercado de hardware de IA, onde o lock-in de fornecedores impulsionou pressões de preços. Ao permitir que o mesmo modelo seja executado em processadores menos caros ou mais eficientes em termos energéticos, a ZML pode ajudar as empresas a reduzir os custos operacionais enquanto mantém o desempenho.

Olhando para o futuro, Morin disse que a equipe tem mais lançamentos planejados e permanece confiante de que Paris é o lugar certo para construir a próxima geração de infraestrutura de IA da Europa. "Eu não poderia fazer a ZML em nenhum outro lugar senão em Paris", concluiu.

Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.