¿Qué hace el modelo flow-1 de Laminar?

Laminar, empresa del grupo S24 de Y Combinator, lanzó flow-1, un modelo creado para detectar fallas en agentes de IA que a menudo pasan desapercibidas. La compañía afirma que el modelo iguala a GPT-6-sol en calidad de detección en su propio banco de pruebas, mientras funciona 23 veces más barato, una diferencia que, según sostiene, hace asequible revisar cada traza de producción en lugar de una muestra.

¿Por qué son difíciles de detectar las fallas silenciosas de los agentes de IA?

El problema que Laminar busca resolver es silencioso. Los agentes de IA ahora ejecutan muchos pasos y pueden fallar sin generar ninguna alarma. Un agente podría hacer clic en el botón equivocado o citar el documento incorrecto mientras cada llamada individual se completa con éxito. Esos son los errores más importantes y también los más difíciles de encontrar. Revisar solo la salida final del agente no los revela. Para encontrarlos hay que entender qué intentaba hacer el agente e inspeccionar sus llamadas a modelos de lenguaje de gran tamaño y los resultados de sus herramientas a lo largo del proceso.

Los fundadores de Laminar, Robert y Din, sostienen que simplemente recopilar trazas no resuelve el problema. Muchas plataformas de observabilidad para agentes, según dicen, siguen siendo en esencia recolectores de datos, y los usuarios pueden terminar pagando por almacenar trazas que nadie tiene tiempo de leer. Usar otro modelo de lenguaje de gran tamaño para revisar las trazas es la respuesta obvia, pero los modelos capaces son costosos a gran escala. Los más económicos, afirma la compañía, a menudo pasan por alto errores o marcan cosas que no importan.

Para resolver ese compromiso, el equipo ajustó un pequeño modelo de código abierto y luego lo entrenó más con aprendizaje por refuerzo. El entrenamiento usó miles de investigaciones sintéticas de flujos de trabajo realistas de agentes en áreas como software, trabajo jurídico y atención al cliente. El resultado, según Laminar, es un modelo que es bueno analizando trazas de agentes y barato de ejecutar.

¿Cómo analiza flow-1 las trazas de los agentes?

flow-1 opera dentro de un entorno que la compañía llama Signals. La configuración trata una traza de agente como un repositorio de código, en el que cada span, como una llamada a un modelo o a una herramienta, funciona como un archivo. El modelo parte de una versión comprimida en texto de la traza completa y de un prompt del usuario. Luego busca entre los spans y lee en detalle los relevantes, de manera similar a como lo haría un agente de programación al recorrer una base de código.

Signals no se limita a buscar errores. Los usuarios pueden darle prompts generales, como pedirle que identifique la frustración de un usuario o que verifique si un agente de navegador completó una compra. Los hallazgos se devuelven en formato JSON, con un esquema que los propios usuarios definen. Laminar llama a estos resultados eventos de señal.

Analizar cada traza genera muchos eventos de señal, demasiados para leerlos uno por uno. Laminar agrupa automáticamente eventos similares en clústeres, para que los equipos puedan ver qué problemas se repiten y con qué frecuencia ocurren. A partir de ahí, los usuarios pueden profundizar en eventos individuales y en las trazas que los originaron. Las trazas de un clúster también pueden servir para construir un conjunto de datos de evaluación para ese tipo de falla. Luego, los desarrolladores pueden usar un agente de programación para iterar correcciones con base en esas evaluaciones y confirmar que un cambio funciona en todos los casos antes de llegar a producción.

La compañía describe el ciclo completo como trazar, analizar, detectar errores y formar clústeres, corregir y luego publicar. Las demás funciones de Laminar se construyen alrededor del mismo ciclo. Su blog describe una compresión de trazas 20 veces mayor, un motor de consultas SQL personalizado y extracción automática de tareas, todo desarrollado a partir del estudio del equipo sobre cómo se comportan realmente los agentes.

Laminar tiene licencia Apache 2.0 y puede alojarse de forma autónoma a través de su repositorio público en GitHub. La compañía dice que obtiene ingresos de su nube administrada. En su publicación de lanzamiento en Hacker News, los fundadores preguntaron a los lectores cómo hacen seguimiento al rendimiento de sus agentes hoy y cuánto dependen de la retroalimentación de los usuarios en comparación con su propio monitoreo. También preguntaron cómo confirman los equipos que la corrección de una falla no introduce otra.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.