OpenAI lanzó un nuevo modo de procesamiento llamado Ultrafast para su modelo de lenguaje grande GPT-5.6 Sol, prometiendo un aumento dramático en la velocidad de salida. La empresa dice que el modo puede entregar hasta 750 tokens de salida por segundo, aproximadamente 14 veces la tasa de la configuración estándar del modelo. En un post de blog del jueves, OpenAI enmarcó el desarrollo como un paso hacia "más trabajo útil por segundo", señalando que el rendimiento en tiempo real anteriormente requería cambiar a modelos más pequeños o especializados.
Los beneficios de rendimiento de Ultrafast provienen de una asociación de hardware con Cerebras, un fabricante de chips conocido por aceleradores de inteligencia artificial de alto rendimiento. La vista previa está limitada a un pequeño grupo de clientes mientras OpenAI monitorea la capacidad y la confiabilidad. La empresa indicó que más usuarios tendrán acceso a medida que el sistema se escalona.
OpenAI destacó varios escenarios corporativos donde el aumento de velocidad podría ser más importante. Los equipos de respuesta a incidentes podrían analizar alertas y generar pasos de mitigación en tiempo casi real. Los bots de soporte al cliente podrían manejar volúmenes de consultas más altos sin sacrificar la calidad de la respuesta. Los analistas financieros podrían ejecutar simulaciones de tendencias de mercado rápidas, y las plataformas de comercio electrónico podrían personalizar recomendaciones de productos en el acto.
Los competidores han introducido sus propias ofertas aceleradas, pero OpenAI afirma que Ultrafast supera a todos ellos. Claude de Anthropic, por ejemplo, ofrece un modo rápido que no coincide con la tasa de tokens por segundo anunciada por OpenAI. La empresa posicionó el nuevo modo como evidencia de progreso en una "nueva dirección" para los modelos de lenguaje grande, enfatizando el rendimiento en lugar de la reducción del tamaño del modelo.
Mientras la función aún está en vista previa, el anuncio de OpenAI señala un cambio en la forma en que los proveedores de inteligencia artificial abordan las preocupaciones de latencia para los usuarios empresariales. Al combinar un modelo de alto rendimiento con hardware especializado, la empresa busca hacer que las aplicaciones de inteligencia artificial en tiempo real sean más factibles en una variedad de industrias. La implementación probablemente informará decisiones futuras sobre la escalabilidad de la tecnología y la expansión del acceso más allá del grupo de prueba inicial.
Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.