Um novo método de geração de texto chamado Next-Concept Modeling (NCM) pode produzir linguagem muito mais rapidamente que os principais modelos de difusão atuais, segundo um artigo de pesquisa publicado no arXiv neste mês. Os autores relatam que a abordagem iguala ou supera a linha de base de difusão mais forte em vários benchmarks, sendo entre 10 e 31 vezes mais rápida.

Por que os modelos de linguagem de difusão são limitados?

O artigo, enviado ao arXiv em 9 de outubro de 2026, aborda uma fraqueza conhecida dos modelos de linguagem de difusão, ou DLMs. Esses modelos podem amostrar em paralelo, o que os torna mais rápidos que os modelos autorregressivos, que geram texto um token por vez. Contudo, a qualidade deles cai rapidamente quando são executados com menos etapas de amostragem. Eles também processam a sequência inteira em cada etapa e precisam de muitas passagens pelos dados de treinamento para alcançar boa qualidade.

Como o Next-Concept Modeling gera texto?

O NCM segue um caminho diferente. O framework funciona em duas etapas, indo do grosso ao fino. Primeiro, um VQ-VAE residual multiescala codifica o texto em uma hierarquia de códigos discretos. Em seguida, um transformador gera um nível dessa hierarquia por vez, prevendo todos os códigos dentro de um nível em paralelo.

Quão mais rápido é o Next-Concept Modeling em relação aos modelos de difusão?

Os ganhos de velocidade são o principal destaque. Em escalas de parâmetros equivalentes, o NCM alcança uma perplexidade generativa melhor que a linha de base de DLM mais forte no LM1B, sendo 21 vezes mais rápido. No OpenWebText, os pesquisadores afirmam que o NCM é competitivo com o DLM mais forte, sendo 10 vezes mais rápido. No XSum, um conjunto de dados de sumarização, ele iguala a pontuação ROUGE-L do DLM mais forte e faz isso 31 vezes mais rápido.

Os autores também testaram o método no Sudoku, uma tarefa de raciocínio frequentemente usada para avaliar como os modelos lidam com problemas estruturados. De acordo com o resumo, o NCM superou as linhas de base autorregressivas e de difusão em todos os níveis de dificuldade e precisou de menos avaliações de função para isso.

O artigo está listado como uma única versão, v1, e inclui uma versão experimental em HTML. O resumo não aborda o desempenho do método em implantações de larga escala ou fora dos benchmarks listados, e os resultados divulgados até agora vêm dos próprios experimentos dos autores.

Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.