O que o modelo flow-1 da Laminar faz?

A Laminar, empresa da turma S24 da Y Combinator, lançou o flow-1, um modelo desenvolvido para identificar falhas em agentes de IA que muitas vezes passam despercebidas. A empresa afirma que o modelo iguala o GPT-6-sol em qualidade de detecção em seu próprio benchmark, ao mesmo tempo que opera 23 vezes mais barato, uma diferença que, segundo ela, torna acessível verificar todos os rastros de produção, e não apenas uma amostra.

Por que as falhas silenciosas de agentes de IA são difíceis de detectar?

O problema que a Laminar busca resolver é discreto. Os agentes de IA hoje executam muitas etapas e podem falhar sem emitir nenhum alerta. Um agente pode clicar no botão errado ou citar o documento errado enquanto cada chamada individual é concluída com sucesso. Esses são os erros mais importantes e também os mais difíceis de encontrar. Observar apenas o resultado final do agente não revela esses problemas. Encontrá-los exige entender o que o agente pretendia fazer e inspecionar suas chamadas a modelos de linguagem de grande porte e os resultados das ferramentas ao longo do processo.

Os fundadores da Laminar, Robert e Din, argumentam que simplesmente coletar rastros não resolve o problema. Muitas plataformas de observabilidade de agentes, segundo eles, ainda são essencialmente coletoras de dados, e os usuários podem acabar pagando para armazenar rastros que ninguém tem tempo de ler. Usar outro modelo de linguagem de grande porte para revisar os rastros é a solução óbvia, mas modelos capazes são caros em grande escala. Já os mais baratos, afirma a empresa, frequentemente deixam passar erros ou sinalizam coisas que não importam.

Para lidar com esse compromisso, a equipe ajustou um pequeno modelo de código aberto e, em seguida, o treinou ainda mais com aprendizado por reforço. O treinamento usou milhares de investigações sintéticas de fluxos de trabalho realistas de agentes em áreas como software, trabalho jurídico e atendimento ao cliente. O resultado, segundo a Laminar, é um modelo que é, ao mesmo tempo, eficiente na análise de rastros de agentes e barato de operar.

Como o flow-1 analisa os rastros de agentes?

O flow-1 funciona dentro de um arcabouço que a empresa chama de Signals. A configuração trata um rastro de agente como um repositório de código, em que cada span, como uma chamada de modelo ou uma chamada de ferramenta, funciona como um arquivo. O modelo começa com uma versão textual compactada de um rastro completo e um prompt do usuário. Em seguida, pesquisa entre os spans e lê os relevantes por completo, de maneira semelhante à de um agente de programação que percorre uma base de código.

O Signals não se limita a caçar erros. Os usuários podem fornecer prompts gerais, como pedir que identifique a frustração do usuário ou verifique se um agente de navegador concluiu uma compra. Os resultados são devolvidos em JSON, em um esquema que os próprios usuários definem. A Laminar chama esses resultados de eventos de sinal.

Analisar todos os rastros gera muitos eventos de sinal, em quantidade grande demais para serem lidos um a um. A Laminar agrupa automaticamente eventos semelhantes em clusters, para que as equipes possam ver quais problemas se repetem e com que frequência ocorrem. A partir daí, os usuários podem detalhar eventos individuais e os rastros que os originaram. Os rastros de um cluster também podem ser usados para construir um conjunto de dados de avaliação para aquele tipo de falha. Os desenvolvedores podem então usar um agente de programação para iterar correções com base nessas avaliações e confirmar que uma mudança funciona em todos os casos antes de chegar à produção.

A empresa descreve o ciclo completo como rastrear, analisar, capturar erros e formar clusters, corrigir e, por fim, lançar. Os demais recursos da Laminar são construídos em torno do mesmo ciclo. O blog da empresa descreve compressão de rastros 20 vezes maior, um mecanismo de consultas SQL personalizado e extração automática de tarefas, tudo desenvolvido a partir do estudo da equipe sobre como os agentes realmente se comportam.

A Laminar é licenciada sob Apache 2.0 e pode ser hospedada pelo próprio usuário por meio de seu repositório público no GitHub. A empresa afirma que obtém receita de sua nuvem gerenciada. Em seu post de lançamento no Hacker News, os fundadores perguntaram aos leitores como acompanham hoje o desempenho de seus agentes e o quanto dependem do feedback dos usuários em comparação com o próprio monitoramento. Também perguntaram como as equipes confirmam que a correção de uma falha não introduz outra.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.