Plantear un desafío para pasar todo el mes de septiembre utilizando solo un modelo abierto eficiente parecía una gran idea en ese momento. Resultó que no tanto en la práctica. 2B tokens después, aquí está cómo salió. El objetivo era pasar todo el mes con GLM 5.3 Flash, un modelo que presume de una ventana de contexto de 1M, soporte de visión y disponibilidad en una amplia gama de proveedores.
La primera mitad del mes salió bien, con el uso del modelo dentro del presupuesto (68 dólares, aproximadamente 4kWh de uso de energía / 365 gramos de emisiones de carbono). Sin embargo, la segunda mitad del mes no salió según lo planeado, con 1B tokens destinados a otros modelos debido a obstáculos inesperados como problemas de disponibilidad de infraestructura y el costo de codificación de vibraciones.
¿Cuáles son las conclusiones clave del experimento con GLM 5.3 Flash?
Una de las conclusiones clave de este experimento es la importancia de la selección cuidadosa de modelos, la planificación presupuestaria y la optimización de la respuesta para la experimentación. El equipo aprendió que podrían haber logrado resultados similares por una fracción del costo con una planificación más cuidadosa. Otra lección importante es la necesidad de medición y informes constantes y locales del uso, mirando no solo los tokens sino también el uso de energía y el gasto.
A pesar de los desafíos, el equipo sigue comprometido con la búsqueda de técnicas y modelos más eficientes. Los últimos modelos insignia y los modelos de difusión de decisiones de estilo Jev parecen prometedores, y el objetivo para octubre es centrarse en el uso de uno o dos modelos baratos de nivel flash para el trabajo diario de los desarrolladores.
El experimento también destacó la importancia de los patrones agénticos y las técnicas multiagente. El equipo planea explorar los agentes orquestador vs. explorador vs. implementador vs. revisor y los objetivos limitados para mejorar su proceso de desarrollo de inteligencia artificial.
¿Cómo puede la optimización de la respuesta mejorar el desarrollo de inteligencia artificial?
En conclusión, aunque el experimento no fue un éxito completo, proporcionó valiosas perspectivas sobre la importancia de la planificación cuidadosa, la selección de modelos, la experimentación y la optimización de la respuesta en el desarrollo de inteligencia artificial. A medida que el equipo mira hacia el futuro, están emocionados de aplicar estas lecciones y seguir empujando los límites de lo que es posible con la inteligencia artificial.
Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.