Un nuevo método de generación de texto llamado Next-Concept Modeling (NCM) puede producir lenguaje mucho más rápido que los principales modelos de difusión actuales, según un artículo de investigación publicado en arXiv este mes. Los autores informan que el enfoque iguala o supera a la línea base de difusión más sólida en varias pruebas de referencia, mientras funciona entre 10 y 31 veces más rápido.
¿Por qué están limitados los modelos de lenguaje de difusión?
El artículo, enviado a arXiv el 9 de octubre de 2026, apunta a una debilidad conocida de los modelos de lenguaje de difusión, o DLM. Estos modelos pueden muestrear en paralelo, lo que los hace más rápidos que los modelos autorregresivos, que generan texto un token a la vez. Sin embargo, su calidad cae rápidamente cuando se ejecutan con menos pasos de muestreo. Además, procesan toda la secuencia en cada paso y necesitan muchas pasadas sobre los datos de entrenamiento para alcanzar una buena calidad.
¿Cómo genera texto Next-Concept Modeling?
NCM toma una ruta diferente. El marco funciona en dos etapas, pasando de lo general a lo específico. Primero, un VQ-VAE residual multiescala codifica el texto en una jerarquía de códigos discretos. Luego, un transformador genera un nivel de esa jerarquía a la vez, prediciendo en paralelo todos los códigos dentro de ese nivel.
¿Qué tan más rápido es Next-Concept Modeling que los modelos de difusión?
Las ganancias de velocidad son la cifra principal. Con escalas de parámetros equivalentes, NCM logra una perplejidad generativa mejor que la de la línea base DLM más sólida en LM1B, mientras funciona 21 veces más rápido. En OpenWebText, los investigadores afirman que NCM es competitivo con el DLM más fuerte y funciona 10 veces más rápido. En XSum, un conjunto de datos de resumen, iguala la puntuación ROUGE-L del DLM más fuerte y lo hace 31 veces más rápido.
Los autores también probaron el método con Sudoku, una tarea de razonamiento que a menudo se usa para evaluar qué tan bien manejan los modelos los problemas estructurados. Según el resumen, NCM superó tanto a las líneas base autorregresivas como a las de difusión en todos los niveles de dificultad, y necesitó menos evaluaciones de función para lograrlo.
El artículo aparece como una única versión, v1, e incluye una versión HTML experimental. El resumen no aborda cómo se comporta el método en implementaciones a mayor escala ni fuera de las pruebas que enumera, y los resultados reportados hasta ahora provienen de los propios experimentos de los autores.
Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.