ChatGPT rompió el corazón de Diogo Almeida. Almeida fue un investigador de OpenAI que ayudó a construir el chatbot y luego inventó el aprendizaje de refuerzo desde la retroalimentación humana (RLHF), la técnica de entrenamiento de modelos quizás más responsable de nuestra actual era de IA. Pero a pesar de sus capacidades, se sintió decepcionado.

"Tenemos un rayo en una botella, y sin embargo, no es útil", le dijo Almeida a TechCrunch. "He estado luchando con ese problema desde entonces. Me tomó un tiempo llegar a la conclusión: el problema es que estamos optimizando para el lenguaje humano... Hemos sido muy buenos en lenguaje humano durante cuatro años, pero no es útil para la automatización porque las computadoras hablan un lenguaje diferente".

Hace dos años, Almeida dejó OpenAI para fundar TypeSafe AI, una startup que intenta solucionar ese problema. Esta semana, la empresa lanzó un nuevo modelo basado en transformadores, Jev, que no es un modelo de lenguaje grande (LLM). No produce texto, sino que produce probabilidades, o lo que la empresa llama "decisiones calibradas".

Evitar el lenguaje hace varias cosas: hace que el modelo sea increíblemente barato y rápido, y porque los usuarios definen los resultados de antemano, no puede alucinar. Sus tokens de salida son gratuitos, y los tokens de entrada se miden por billones, no por millones.

Una captura de pantalla muestra una comparación de Jev y un modelo de OpenAI respondiendo a las mismas solicitudes Imagen de crédito: TypeSafe AI

Los desarrolladores están mostrando un gran interés en el producto; la empresa perdió temporalmente la capacidad de servir a los usuarios desde su API porque la demanda era muy alta. Jev parece ser más útil para la automatización de software. Hasta ahora, los desarrolladores de software lo ven como una forma más barata y robusta de incorporar inteligencia en su código.

Por ejemplo, Pranit Sharma, un ingeniero de software en Vercel, una empresa que crea infraestructura agente, dijo que su empresa había utilizado ChatGPT Luna 5.6 de OpenAI para ejecutar un clasificador para revisar comandos de seguridad. Cuando Vercel reemplazó Luna de OpenAI con Jev, obtuvo resultados de 5 a 18 veces más rápidos y con mayor precisión.

Otro desarrollador, Nikhil Mudholkar, CTO de Bryo AI, probó Jev contra Gemini para clasificar correos electrónicos comerciales. En su prueba, Gemini fue ligeramente más preciso, pero 10 a 20 veces más caro. Más interesante para Mudholkar fueron las puntuaciones de confianza de Jev: "es el único que devuelve una probabilidad real, lo que lo hace ideal para automatizar flujos de trabajo".

Además de reemplazar a los LLM en ciertos casos de uso, el nuevo modelo también puede complementarlos, actuando como una verificación inteligente de mala conducta. Usar agentes para monitorear agentes puede volverse caro, pero usar Jev para hacerlo, argumenta Almeida, tiene sentido. Ve a los usuarios desplegando Jev para rastrear trazas de agentes LLM y prevenir fugas.

"Al final del día, delega un poco el problema de alucinación al usuario", explicó Armin Ronacher, CTO de Earendil, que construye el arnés de modelo de código abierto Pi. "El usuario tiene que decir, okay, si esto solo regresa con una probabilidad del 50%, tal vez sea un lanzamiento de moneda, y lo ignoro. Pero si es del 95%, entonces puedo hacer algo con eso".

Otro uso potencial para Jev es la routificación de modelos, dijo Ronacher. Predecir si una carga de trabajo determinada requiere un modelo específico sería útil, pero usar un LLM para el trabajo sería caro. El bajo costo y la velocidad de Jev hacen que ese tipo de clasificación en tiempo real sea posible.

Y esa es la esperanza de Almeida. El modelo lleva el nombre de William Stanley Jevons, el economista del siglo XIX cuya paradoja epónima describe cómo la caída del costo de una mercancía puede llevar a que se utilice más y más. En este caso, la caída del costo de la inteligencia debería llevar a su despliegue generalizado.

"Pensamos que simplemente habrá software inteligente por todas partes de una manera emergente y distribuida... mucho más como la temprana internet que como las megaaplicaciones que la gente está tratando de construir ahora", dijo Almeida.

La arquitectura del modelo

Almeida es reservado sobre la arquitectura del modelo, que los observadores externos sospechan que se construyó sobre un LLM de peso abierto. La empresa se refiere a Jev como un "modelo de sistema uno", centrado en la intuición en lugar de la razón, y específicamente centrado en la tarea correcta. Almeida dice que Jev se entrena exclusivamente con datos sintéticos utilizando una técnica que llama "aprendizaje de refuerzo desde decisiones calibradas".

"Hicimos una apuesta temprana de que haríamos todos nuestros datos, y eso ha sido una de las mejores apuestas que he hecho en mi vida — mejor que nuestro lanzamiento, en mi opinión, mejor que RLHF", le dijo a TechCrunch. "La mitad de [nuestra empresa] es un laboratorio que básicamente posee este subcampo de datos sintéticos estadísticamente bien entendidos, y eso es ahora mi alegría".

Por ahora, Jev se mantiene solo como este tipo de modelo, pero Ronacher espera que los competidores surgirán ahora que su utilidad es aparente.

"Debimos haber visto esto antes en muchos sentidos, pero presumiblemente porque los LLM son tan baratos y subsidiados, a menudo no tienes que ser creativo todavía", dijo.

TypeSafe misma estará construyendo más versiones del modelo, en nuevas modalidades. Cuando se le preguntó si TypeSafe es un laboratorio de frontera, Almeida dijo: "el producto principal de los laboratorios de frontera es el miedo o la hipería. Me gustaría que nuestro producto principal sea la inteligencia... [pero no somos] un laboratorio en el sentido de, sabes, como apostar a la riqueza infinita, o una religión, o construir a Dios en un centro de datos, o lo que sea el tema del día".

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.