PrismML, una startup que ha estado volando bajo el radar, está haciendo olas con su enfoque innovador para los modelos de lenguaje grande (LLM). La empresa, fundada por un grupo de investigadores de Caltech, ha lanzado recientemente Bonsai 2 27B, una versión comprimida del modelo Qwen3.8 27B de Alibaba, ampliamente utilizado. Lo que es notable sobre Bonsai 2 es que se ha reducido a un mero 5,9 GB, lo que lo hace lo suficientemente pequeño como para caber en una PC y posiblemente incluso en un smartphone de alta gama.
Este logro es significativo, ya que podría allanar el camino para una adopción más generalizada de la tecnología de IA. El CEO de PrismML, Babak Hassibi, un profesor de Caltech y experto en tecnologías de compresión, cree que los LLM capaces y de alto rendimiento no tienen que ser grandes. La misión de la empresa es hacer que la IA sea más accesible y privada, al permitir que se ejecute en los dispositivos de los usuarios en lugar de depender de la computación en la nube.
La técnica de compresión de PrismML, llamada "pesos ternarios", simplifica la información que un modelo aprende y almacena durante el entrenamiento. Al reducir el tamaño de los "pesos" que componen un modelo, la empresa puede reducir drásticamente el espacio requerido para almacenar el modelo. Este enfoque ha permitido a PrismML lograr una reducción de 9 a 10 veces en la memoria en comparación con el modelo Qwen3.8 27B original.
El próximo objetivo de la empresa es aplicar esta técnica de compresión a modelos aún más grandes. Hassibi espera que, a medida que crece el tamaño del modelo, será más fácil retener la inteligencia del modelo, incluso después de la compresión. Esto podría llevar a una nueva generación de modelos de IA que sean potentes y accesibles.
Ion Stoica, cofundador de Databricks y asesor de PrismML, está emocionado sobre el potencial de esta tecnología. "Tendrás inteligencia en tus dedos, y será gratuita porque se ejecutará en el dispositivo que ya compraste. También será privada, porque no la enviarás a la nube", dijo.
El avance de PrismML tiene implicaciones significativas para el futuro de la IA. A medida que los modelos de IA se vuelvan más accesibles y privados, podemos esperar ver un aumento en la innovación y la adopción. Con el potencial de que la IA se ejecute en dispositivos, en lugar de depender de la computación en la nube, las posibilidades para aplicaciones impulsadas por IA son infinitas.
This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.