Um desenvolvedor de software incentiva quem usa grandes modelos de linguagem a deixar de depender apenas das ferramentas fornecidas pelos provedores de IA e, em vez disso, executar seu próprio servidor proxy, hospedado em uma infraestrutura que controlam. O argumento aparece em uma publicação que questiona como alguém pode ter visibilidade sobre o que acontece com o uso de LLMs sem um servidor desse tipo.

O autor começa com a configuração típica. A maioria dos usuários conversa por meio de uma interface vinculada a uma assinatura paga, seja um terminal, um aplicativo gráfico ou uma ferramenta de voz. Os dados são enviados e a resposta do provedor retorna. Segundo o autor, os provedores apresentam telas de uso como prova de que o trabalho está sendo feito, mas essas telas são uma distração. Elas não trazem as estatísticas de uso de tokens, com dados de séries temporais, de que os engenheiros precisam.

Os exemplos de projetos citados na publicação são bastante variados. O autor menciona alguém que automatizou a criação de réplicas de novos lançamentos de brinquedos, transformando imagens de produtos em 2D em modelos 3D, e outra pessoa que usa um modelo para consultar informações de macronutrientes de um sanduíche de fast food.

Por que rodar seu próprio proxy de LLM em vez das ferramentas dos provedores?

O autor reconhece que alguns provedores oferecem opções de exportação via OpenTelemetry, mas argumenta que essas opções não resolvem o problema. Ele lista várias razões para executar um proxy. Um único endpoint pode distribuir solicitações entre vários provedores e modelos. Os registros podem mostrar qual chave chamou qual modelo, a partir de qual cliente, em que horário e com qual status. Chaves de API virtuais podem impedir que uma chave principal fique espalhada por projetos, agentes e ambientes de execução. Além disso, os usuários mantêm o controle da sua infraestrutura, o que torna mais rápido trocar de modelos ou provedores sem reconfigurar tudo.

O autor não indica um produto de proxy específico. A recomendação é executar um proxy em um ambiente sob seu controle e depois adaptá-lo. Ele afirma ter modificado o próprio proxy para oferecer mais informações, dar suporte a endpoints personalizados de servidores MCP e incluir outros recursos.

O que um proxy de LLM revela durante uma sessão de programação?

Como exemplo do benefício, o autor afirma que, quando surge uma falha de cache durante uma sessão de programação, ele consegue descobrir o motivo em cerca de 20 segundos, manualmente. O autor ainda não automatizou esse processo, mas diz que o proxy possui uma API, o que torna a automação possível.

O autor apresenta o proxy como uma questão de propriedade: infraestrutura, visibilidade das aplicações, caminho dos dados e armazenamento. Ele mantém um proxy em casa porque acha divertido e uma boa forma de aprender, e no trabalho porque, em sua opinião, a tarefa não é realizada corretamente sem ele. O autor admite não entender totalmente como um grande modelo de linguagem funciona a ponto de explicá-lo em um quadro branco durante uma entrevista de emprego. Segundo ele, o objetivo é mais modesto: compreender o sistema o suficiente para monitorá-lo enquanto ele atende às solicitações de inferência.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.