Un desarrollador ha creado una envoltura de función única para modelos de lenguaje grande (LLM), incluyendo modelos de visión, lo que permite un uso más flexible y eficiente de estos modelos. La envoltura permite a los usuarios leer las probabilidades de tokens de un LLM, que se pueden utilizar para responder preguntas y hacer predicciones.
El desarrollador se inspiró en Jev y proyectos autohospedables como OpenJev y SemIf, que lo introdujeron en el concepto de leer las probabilidades de tokens de un LLM. Esta técnica, también conocida como logprobs, permite a los usuarios ver la confianza del modelo en sus predicciones y tomar decisiones más informadas.
La envoltura funciona enviando una solicitud a el LLM, junto con unos pocos parámetros de solicitud JSON, y luego procesando la respuesta del modelo para extraer las probabilidades de tokens. El desarrollador ha probado la envoltura con Gemma 4 12B, un modelo de 12 mil millones de parámetros, y ha logrado alrededor de 1 frame por segundo con tres preguntas por frame.
La envoltura también funciona con modelos de visión, lo que permite a los usuarios analizar imágenes y hacer predicciones basadas en datos visuales. El desarrollador ha probado la envoltura con el modelo gpt-6-luna de OpenAI y ha logrado alrededor de 0,2 frames por segundo.
El desarrollador ha lanzado un ejemplo de Python independiente, que utiliza OpenCV para acceder a la cámara web y enviar imágenes al LLM para su análisis. El código de ejemplo está disponible en GitHub y se puede ejecutar utilizando la herramienta de línea de comandos uv.
La creación de esta envoltura tiene implicaciones significativas para el desarrollo de modelos de inteligencia artificial y sus aplicaciones. Permite a los desarrolladores crear sistemas de inteligencia artificial más sofisticados que pueden analizar y comprender datos complejos, y hacer predicciones basadas en ese análisis.
El uso de logprobs y probabilidades de tokens también puede mejorar la transparencia y la explicabilidad de los modelos de inteligencia artificial, lo que permite a los desarrolladores entender cómo los modelos están haciendo sus predicciones y identificar posibles sesgos o errores.
Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.