¿Qué es la puerta de enlace de IA de código abierto de Respan?

Respan publicó una puerta de enlace de IA de código abierto escrita en Rust, y la empresa apuesta a que los desarrolladores quieran construir sus propias funciones sobre ella en lugar de esperar a que otros las agreguen. La puerta de enlace está diseñada en torno a complementos. Casi todo, incluidos los proveedores de modelos, los protocolos de comunicación y funciones como las alternativas de respaldo y la eliminación de datos personales, es un complemento que se ubica por fuera de un núcleo pequeño.

El lanzamiento fue publicado en Hacker News por Andy, miembro del equipo de Respan. La empresa, que opera bajo el nombre Respan y forma parte del lote W24 de Y Combinator, afirma que el diseño surgió de los problemas que enfrentó al operar una puerta de enlace a gran escala.

Respan ha construido su puerta de enlace sobre LiteLLM desde 2024. Actualmente la puerta de enlace atiende a miles de organizaciones, y cada una necesita su propia configuración de claves de API, rutas y límites. Para manejar esa complejidad, el equipo siguió envolviendo LiteLLM y agregando funciones. En algún momento, el código de esa capa de envoltura superó las 100.000 líneas.

¿Por qué Respan rediseñó su puerta de enlace basada en LiteLLM?

El punto de quiebre llegó en enero. Una actualización rutinaria de LiteLLM provocó errores de conexión intermitentes, y el equipo tuvo que revertirla. Respan afirma que todavía no ha determinado la causa. Desde entonces, ya no actualiza LiteLLM directamente. En cambio, los ingenieros aplican manualmente las correcciones del proyecto original. El equipo concluyó que seguir parchando LiteLLM no era una estrategia viable a largo plazo y decidió rediseñar la puerta de enlace.

El nuevo diseño toma como referencia a Nginx. Respan sostiene que una puerta de enlace de IA debe tener un núcleo muy pequeño que cumpla una sola tarea: despachar eventos. Todo lo demás es un complemento, incluidos proveedores como OpenAI, Anthropic y Gemini, protocolos como chat, voz en tiempo real y MCP, y modalidades como imágenes y videos. Las funciones de la puerta de enlace para la confiabilidad y la seguridad, incluidos el enrutamiento inteligente, las alternativas de respaldo y la eliminación de datos personales, también son complementos, y la empresa publicó versiones de ejemplo de varios de ellos.

Respan afirma que agregar un proveedor es intencionalmente sencillo. Por ejemplo, un proveedor de Mistral tiene 22 líneas de código. Las particularidades del comportamiento de un proveedor se manejan de la misma manera. La empresa cita como ejemplo el caso de Groq, que ubica el uso de tokens en un campo propio, lo cual requiere un complemento dedicado y su propia prueba.

La puerta de enlace también permite combinar APIs en una misma aplicación. Respan señala que una aplicación construida sobre la API Realtime de OpenAI puede usar Gemini Live a través de la puerta de enlace, aunque no todas las funciones se traducen entre proveedores. Una aplicación de chat sencilla puede usar herramientas MCP configuradas en la puerta de enlace sin necesidad de implementar MCP por sí misma. La compañía también afirma que, cuando un cliente y un proveedor usan la misma API, la puerta de enlace conserva los campos específicos del proveedor en su formato nativo, incluso cuando su estructura compartida de solicitudes no tiene un campo para ellos, de modo que esos campos no se pierden.

¿Cómo funcionan los complementos en la puerta de enlace de Respan?

Internamente, un adaptador envía cada conexión HTTP o WebSocket al primer formato de cliente que la reconoce. Ese formato expone la solicitud como un flujo bidireccional de eventos de entrada y salida tipificados. El núcleo ejecuta los complementos en el orden en que fueron registrados. Estos pueden elegir un proveedor, filtrar o envolver el flujo, realizar llamadas adicionales, devolver una respuesta o rechazar la solicitud. Si el cliente y el proveedor usan el mismo formato y ningún complemento modifica la carga útil, los bytes originales pasan sin cambios. Cuando los formatos difieren, la puerta de enlace realiza la traducción mediante tipos compartidos para mensajes, llamadas a herramientas, resultados, flujos y uso.

El código está disponible en GitHub bajo la licencia MIT o Apache-2.0. Los desarrolladores no necesitan la plataforma alojada de Respan para usarlo. Pueden compilar la puerta de enlace desde el código fuente, agregar sus propias claves de proveedor y apuntar un cliente compatible hacia la puerta de enlace cambiando su URL base. Respan describe el proyecto como pre-alfa.

Respan obtiene ingresos de su plataforma alojada, que ejecuta la puerta de enlace para los clientes y agrega observabilidad, evaluaciones y facturación unificada. La empresa invita a desarrolladores externos a contribuir con complementos para enrutamiento, herramientas, filtrado, observabilidad y seguridad para agentes de IA. Un archivo llamado PLUGINS.md en el repositorio explica cómo escribir uno y enlaza a los complementos que Respan ha construido hasta ahora. La compañía afirma que el desarrollo de ese ecosistema es central en su hoja de ruta.

Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.