Un desarrollador de software insta a las personas que usan modelos de lenguaje de gran tamaño a dejar de depender únicamente de las herramientas que les entregan sus proveedores de IA y, en cambio, a ejecutar su propio servidor proxy, alojado en infraestructura que controlan. El argumento aparece en una publicación que cuestiona cómo puede alguien obtener visibilidad sobre lo que sucede con su uso de LLM sin tener uno.

El autor parte de la configuración típica. La mayoría de los usuarios chatea a través de una interfaz frontal vinculada a una suscripción paga, ya sea una interfaz de terminal, una aplicación gráfica o una herramienta de voz. Sus datos entran y los del proveedor regresan. El autor afirma que los proveedores presentan las pantallas de uso como prueba de que el trabajo está ocurriendo, pero esas pantallas son una distracción. No son las estadísticas de uso de tokens, con datos de series temporales, que necesitan los ingenieros.

Los ejemplos de lo que la gente está construyendo son muy variados. El autor menciona a alguien que automatiza la clonación de nuevos lanzamientos de juguetes convirtiendo imágenes de productos en 2D en modelos 3D, y a otra persona que usa un modelo para consultar la información de macronutrientes de un sándwich de comida rápida.

¿Por qué ejecutar su propio proxy LLM en lugar de las herramientas del proveedor?

El autor reconoce que algunos proveedores ofrecen opciones de exportación de OpenTelemetry, pero sostiene que esas opciones no resuelven el problema. El autor enumera varias razones para ejecutar un proxy en su lugar. Un único punto de acceso puede enrutar solicitudes entre varios proveedores y modelos. Los registros pueden mostrar qué clave llamó a qué modelo, desde qué cliente, a qué hora y con qué estado. Las claves API virtuales pueden evitar que una única clave principal se disperse entre proyectos, agentes y arneses. Además, los usuarios conservan el control de su infraestructura, lo que facilita cambiar de modelo o de proveedor sin reconfigurar todo.

El autor no menciona ningún producto de proxy específico. El consejo es ejecutar uno en un lugar que se controle y luego adaptarlo. El autor dice que modificó su propio proxy para ofrecer mejor visibilidad, para admitir endpoints personalizados de servidores MCP y para agregar otras funciones.

¿Qué revela un proxy LLM durante una sesión de programación?

Como ejemplo del beneficio, el autor afirma que cuando aparece un fallo de caché durante una sesión de programación, puede averiguar por qué en unos 20 segundos, de forma manual. El autor aún no ha automatizado ese proceso, pero dice que el proxy tiene una API, por lo que la automatización es posible.

El autor plantea el proxy como un asunto de propiedad: infraestructura, visibilidad de la aplicación, ruta de los datos y almacenamiento. Ejecuta uno en casa porque es divertido y una buena forma de aprender, y en el trabajo porque, a su juicio, el trabajo no se hace bien sin él. El autor admite que no entiende del todo cómo funciona un modelo de lenguaje de gran tamaño lo suficiente como para explicarlo en una pizarra durante una entrevista de trabajo. Dice que la meta es más modesta: entender el sistema lo bastante bien como para monitorearlo mientras sirve inferencias.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.