PrismML, uma startup que vinha voando abaixo do radar, está fazendo ondas com sua abordagem inovadora para modelos de linguagem grandes (LLMs). A empresa, fundada por um grupo de pesquisadores da Caltech, lançou recentemente Bonsai 2 27B, uma versão comprimida do modelo Qwen3.8 27B, amplamente utilizado, da Alibaba. O que é notável sobre Bonsai 2 é que ele foi reduzido a apenas 5,9 GB, tornando-o pequeno o suficiente para ser executado em um PC e possivelmente em um smartphone de alta gama.

Essa conquista é significativa, pois pode abrir caminho para uma adoção mais ampla da tecnologia de IA. O CEO da PrismML, Babak Hassibi, um professor da Caltech e especialista em tecnologias de compressão, acredita que modelos de LLM capazes e de alto desempenho não precisam ser grandes. A missão da empresa é tornar a IA mais acessível e privada, permitindo que ela seja executada em dispositivos dos usuários, em vez de depender da computação em nuvem.

A técnica de compressão da PrismML, chamada de "pesos ternários", simplifica as informações que um modelo aprende e armazena durante o treinamento. Ao reduzir o tamanho dos "pesos" que compõem um modelo, a empresa pode reduzir drasticamente o espaço necessário para armazenar o modelo. Essa abordagem permitiu que a PrismML alcançasse uma redução de 9x a 10x na memória em comparação com o modelo Qwen3.8 27B original.

O próximo objetivo da empresa é aplicar essa técnica de compressão a modelos ainda maiores. Hassibi espera que, à medida que o tamanho do modelo cresce, será mais fácil manter a inteligência do modelo, mesmo após a compressão. Isso pode levar a uma nova geração de modelos de IA que sejam poderosos e acessíveis.

Ion Stoica, co-fundador da Databricks e conselheiro da PrismML, está entusiasmado com o potencial dessa tecnologia. "Você terá inteligência ao alcance das mãos, e será gratuito porque será executado no dispositivo que você já comprou. Além disso, será privado, porque você não precisará enviá-lo para a nuvem", disse ele.

A inovação da PrismML tem implicações significativas para o futuro da IA. À medida que os modelos de IA se tornam mais acessíveis e privados, podemos esperar ver um surto de inovação e adoção. Com o potencial para a IA ser executada em dispositivos, em vez de depender da computação em nuvem, as possibilidades para aplicações impulsionadas por IA são infinitas.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.