O que é o gateway de IA de código aberto da Respan?
A Respan lançou um gateway de IA de código aberto escrito em Rust, e a empresa aposta que os desenvolvedores querem criar seus próprios recursos sobre ele, em vez de esperar que outra pessoa os adicione. O gateway é projetado em torno de plugins. Quase tudo, incluindo provedores de modelos, protocolos de comunicação e recursos como fallbacks e redação de dados pessoais, é um plugin que fica fora de um núcleo pequeno.
O lançamento foi publicado no Hacker News por Andy, integrante da equipe da Respan. A empresa, que atua sob o nome Respan e faz parte do lote W24 da Y Combinator, afirma que o design surgiu de problemas enfrentados ao operar um gateway em grande escala.
A Respan vem construindo seu gateway sobre o LiteLLM desde 2024. Hoje, o gateway atende milhares de organizações, e cada uma precisa de suas próprias configurações de chaves de API, rotas e limites. Para lidar com isso, a equipe continuou encapsulando o LiteLLM e adicionando recursos. Em determinado momento, o código do encapsulamento ultrapassou 100.000 linhas.
Por que a Respan redesenhou seu gateway baseado em LiteLLM?
O ponto de virada ocorreu em janeiro deste ano. Uma atualização rotineira do LiteLLM provocou erros intermitentes de conexão, e a equipe precisou reverter a mudança. A Respan afirma que ainda não identificou a causa. Desde então, a empresa não atualiza mais o LiteLLM diretamente. Em vez disso, os engenheiros aplicam manualmente correções do projeto original. A equipe concluiu que continuar remendando o LiteLLM não era uma abordagem viável a longo prazo e decidiu redesenhar o próprio gateway.
O novo design se inspira no Nginx. A Respan afirma que um gateway de IA deve ter um núcleo muito pequeno, que executa apenas uma função: despachar eventos. Todo o restante é um plugin, incluindo provedores como OpenAI, Anthropic e Gemini, protocolos como chat, voz em tempo real e MCP, e modalidades como imagens e vídeos. Os recursos de confiabilidade e segurança do gateway, incluindo roteamento inteligente, fallbacks e redação de dados pessoais (PII), também são plugins, e a empresa publicou versões de exemplo de vários deles.
A Respan diz que adicionar um provedor é intencionalmente simples. Um provedor Mistral, por exemplo, tem 22 linhas. Particularidades no comportamento de um provedor também são tratadas da mesma forma. A empresa dá como exemplo o caso do Groq, que registra o uso de tokens em um campo próprio, o que recebe um plugin dedicado e um teste específico.
O gateway também permite que as aplicações combinem APIs diferentes. A Respan afirma que um aplicativo construído com a API Realtime da OpenAI pode usar o Gemini Live por meio do gateway, embora nem todos os recursos sejam traduzidos entre provedores. Um aplicativo de chat simples pode usar ferramentas MCP configuradas no gateway sem precisar implementar o MCP por conta própria. A empresa também afirma que, quando um cliente e um provedor utilizam a mesma API, o gateway mantém os campos específicos do provedor em seu formato nativo, mesmo quando sua estrutura compartilhada de requisição não tem um campo correspondente, de modo que esses campos não são descartados.
Como funcionam os plugins no gateway da Respan?
Nos bastidores, um adaptador encaminha cada conexão HTTP ou WebSocket ao primeiro formato de cliente que a reconhece. Esse formato expõe a requisição como um fluxo bidirecional de eventos tipados de entrada e saída. O núcleo executa os plugins na ordem em que foram registrados. Esses plugins podem escolher um provedor, filtrar ou encapsular o fluxo, fazer chamadas adicionais, retornar uma resposta ou recusar a requisição. Se o cliente e o provedor usarem o mesmo formato e nenhum plugin alterar o conteúdo, os dados originais passam sem modificações. Quando os formatos são diferentes, o gateway faz a conversão por meio de tipos compartilhados para mensagens, chamadas de ferramentas, resultados, fluxos e uso.
O código está disponível no GitHub sob as licenças MIT ou Apache-2.0. Os desenvolvedores não precisam da plataforma hospedada da Respan para usá-lo. Eles podem compilar o gateway a partir do código-fonte, adicionar suas próprias chaves de provedores e apontar um cliente compatível para o gateway alterando sua URL base. A Respan descreve o projeto como pré-alfa.
A Respan ganha dinheiro com sua plataforma hospedada, que executa o gateway para os clientes e acrescenta observabilidade, avaliações e faturamento unificado. A empresa convida desenvolvedores externos a contribuir com plugins para roteamento, ferramentas, filtragem, observabilidade e segurança para agentes de IA. Um arquivo chamado PLUGINS.md no repositório explica como escrever um plugin e traz links para os plugins que a Respan já desenvolveu. A empresa afirma que a expansão desse ecossistema é central em seu roteiro de desenvolvimento.
Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.