PrismML, uma startup que vinha voando abaixo do radar, está fazendo ondas com sua abordagem inovadora para modelos de linguagem grandes (LLMs). A empresa, fundada por um grupo de pesquisadores da Caltech, lançou recentemente Bonsai 2 27B, uma versão comprimida do modelo Qwen3.8 27B, amplamente utilizado, da Alibaba. O que é notável sobre Bonsai 2 é que ele foi reduzido a apenas 5,9 GB, tornando-o pequeno o suficiente para ser executado em um PC e possivelmente em um smartphone de alta gama.

Essa conquista é significativa, pois pode abrir caminho para uma adoção mais ampla da tecnologia de IA. O CEO da PrismML, Babak Hassibi, um professor da Caltech e especialista em tecnologias de compressão, acredita que modelos de LLM capazes e de alto desempenho não precisam ser grandes. A missão da empresa é tornar a IA mais acessível e privada, permitindo que ela seja executada em dispositivos dos usuários, em vez de depender da computação em nuvem.

A técnica de compressão da PrismML, chamada de "pesos ternários", simplifica as informações que um modelo aprende e armazena durante o treinamento. Ao reduzir o tamanho dos "pesos" que compõem um modelo, a empresa pode reduzir drasticamente o espaço necessário para armazenar o modelo. Essa abordagem permitiu que a PrismML alcançasse uma redução de 9x a 10x na memória em comparação com o modelo Qwen3.8 27B original.

O próximo objetivo da empresa é aplicar essa técnica de compressão a modelos ainda maiores. Hassibi espera que, à medida que o tamanho do modelo cresce, será mais fácil manter a inteligência do modelo, mesmo após a compressão. Isso pode levar a uma nova geração de modelos de IA que sejam poderosos e acessíveis.

Ion Stoica, co-fundador da Databricks e conselheiro da PrismML, está entusiasmado com o potencial dessa tecnologia. "Você terá inteligência ao alcance das mãos, e será gratuito porque será executado no dispositivo que você já comprou. Além disso, será privado, porque você não precisará enviá-lo para a nuvem", disse ele.

A inovação da PrismML tem implicações significativas para o futuro da IA. À medida que os modelos de IA se tornam mais acessíveis e privados, podemos esperar ver um surto de inovação e adoção. Com o potencial para a IA ser executada em dispositivos, em vez de depender da computação em nuvem, as possibilidades para aplicações impulsionadas por IA são infinitas.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.