Um modelo de linguagem pode se tornar melhor ao reescrever os próprios pesos, de acordo com uma nova pré-publicação de uma equipe de 11 pesquisadores. O artigo, divulgado no servidor de pré-publicações arXiv, descreve um modelo aberto de 27 bilhões de parâmetros que raciocina sobre os próprios erros e, em seguida, edita os parâmetros internos responsáveis por eles. O processo não exige gradientes nem treinamento adicional.
Atualmente, um modelo de linguagem normalmente é treinado uma única vez e depois congelado. A otimização de LLMs costuma significar mais uma rodada de treinamento ou depender de um prompt, de uma estrutura de software ao redor do modelo ou de computação extra durante a inferência. Esses ganhos desaparecem quando a tarefa termina. Os autores descrevem uma terceira opção, que chamam de autorreescrita, na qual o modelo atua como seu próprio otimizador.
Como a autorreescrita permite que um modelo de linguagem se aperfeiçoe?
Os pesquisadores afirmam que um estudo anterior usou um modelo de fronteira para editar outro muito menor. No novo trabalho, o modelo recebe os próprios pesos, suas respostas avaliadas e a capacidade de executar a si mesmo. Ele identifica onde errou e reescreve os pesos por trás dessas falhas. Os autores relatam que a edição resultante tornou o modelo 6,6 pontos percentuais mais preciso em problemas que nunca tinha visto.
O método também parece se apoiar em si mesmo. Segundo o artigo, o modelo testa suas edições em problemas de prática e envia apenas as mudanças que funcionam. Cada edição melhora a anterior. Ao longo de oito sessões consecutivas, a precisão do modelo apenas aumentou.
A equipe também testou se o modelo conseguia reparar danos. Eles criaram uma cópia danificada do modelo que quase não resolvia nada. Sem retreinamento e sem jamais ler os pesos originais, o modelo restaurou a cópia para mais de 80% da precisão do original em tarefas de imagem que nunca tinha visto antes.
A autorreescrita funciona em modelos menores?
A capacidade parece depender da escala. Em uma família de modelos, os menores ou não fizeram nenhuma edição útil ou se danificaram. Somente o maior modelo melhorou e se reparou, escrevem os autores.
Como a autorreescrita se compara ao treinamento e ao escalonamento em tempo de teste?
Os autores contrastam a autorreescrita com duas abordagens comuns. O escalonamento em tempo de teste adiciona computação a cada resposta, o que gera um custo sempre que o modelo responde. O treinamento executa um processo separado para atualizar o modelo. A autorreescrita, por outro lado, grava seus ganhos diretamente nos pesos, por isso não acrescenta custo por resposta. Ela também executa apenas passagens diretas (forward passes), o mesmo tipo de computação usado quando um modelo entrega respostas, em vez das passagens reversas (backward passes) usadas no treinamento.
Os pesquisadores argumentam que a fronteira entre treinamento e inferência reflete os limites das ferramentas atuais, e não uma característica fundamental da inteligência. Eles afirmam que a autorreescrita é um passo necessário rumo ao autoaperfeiçoamento recursivo, no qual um modelo continua se atualizando ao longo de sua vida útil. Tal sistema não precisaria de um modelo maior, de engenharia de prompts nem de etapas separadas de pré ou pós-treinamento, escrevem.
O artigo é uma pré-publicação, e suas conclusões não foram verificadas de forma independente. A primeira versão foi enviada em 16 de novembro de 2026, e uma versão revisada foi publicada em 18 de novembro de 2026.
Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.