Os grandes modelos de linguagem são construídos para ficar estáticos depois que deixam o laboratório. Após o pré-treinamento, eles respondem perguntas com base em um limite de conhecimento fixo, e tudo o que aprendem durante uma conversa desaparece quando a sessão termina. Um novo arcabouço de pesquisa busca mudar isso ao dar aos modelos um período regular de repouso, no qual fixam novas informações em sua memória de longo prazo.

Como um arcabouço de sono ajuda os LLMs a reter novos conhecimentos?

A abordagem, que os autores chamam de arcabouço de sono, alterna entre dois estados. Na fase ativa, ou de vigília, o modelo recebe e processa entradas e armazena informações temporárias em uma memória rápida de curto prazo. Na fase de sono, ele deixa de tratar novas entradas e concentra-se em consolidar o que aprendeu.

O arcabouço de sono impede o esquecimento catastrófico?

Os pesquisadores afirmam que a ideia aborda um problema antigo no aprendizado de máquina. Simplesmente retreinar um modelo com novos dados tende a provocar esquecimento catastrófico, situação em que aprender mal uma nova tarefa degrada o desempenho em tarefas anteriores. Depender apenas do aprendizado em contexto evita esse dano, mas o conhecimento desaparece assim que sai da janela de contexto do modelo.

Como funciona o ciclo de sono

O arcabouço tem duas etapas, que os autores descrevem como consolidação de memória e sonho. A etapa de consolidação pretende espelhar o sono de ondas lentas do cérebro humano, quando memórias frágeis são convertidas em estruturas mais duradouras.

Durante a consolidação, o modelo amplia sua capacidade. Ele usa uma arquitetura de Mistura de Especialistas e um projeto que os pesquisadores chamam de Hope para adicionar especialistas de baixo posto, que são incorporados a blocos de memória estáveis e de baixa frequência. O novo conhecimento é armazenado ali sem sobrescrever parâmetros mais antigos. As informações mantidas em camadas de alta frequência, como a memória em contexto, são transferidas para esses parâmetros expandidos por meio de uma combinação de Destilação de Conhecimento Generalizada e imitação baseada em aprendizado por reforço. Concluída essa transferência, os parâmetros temporários de alta frequência são zerados, liberando espaço para a próxima sessão ativa.

A etapa de sonho funciona de outra maneira. O modelo gera exemplos sintéticos de treinamento, que os autores chamam de sonhos, e ativa de forma aleatória especialistas que normalmente não usaria. Os pesquisadores afirmam que isso obriga o modelo a combinar diferentes áreas de conhecimento. Um filtro baseado em gradiente então seleciona as amostras de sonho com maior probabilidade de melhorar a capacidade geral do modelo, e o modelo passa por ajuste fino com base nesses exemplos mais bem avaliados. O modelo também verifica se as mudanças melhoram seu desempenho em tarefas posteriores.

Os autores argumentam que isso vai além de simples aumento de dados. Segundo eles, a seleção aleatória de especialistas amplia o leque de atualizações que o modelo explora, e a etapa de filtragem dá ênfase aos sinais de aprendizado mais úteis. O objetivo, escrevem, é um processo de otimização mais equilibrado, no qual o aprendizado seja menos dominado por um pequeno número de direções.

Resultados nos benchmarks

Qual é o desempenho do arcabouço de sono nos benchmarks?

Os pesquisadores testaram o arcabouço contra linhas de base que incluíam aprendizado em contexto, ajuste fino supervisionado e outros métodos de aprendizado contínuo, em várias avaliações.

Em tradução contínua envolvendo idiomas com dados de treinamento limitados, incluindo o manchu e o kalamang, o arcabouço de sono manteve uma queda de desempenho próxima de zero ao longo de múltiplas etapas de treinamento. As linhas de base padrão, incluindo aprendizado em contexto, Cartridges e ajuste fino supervisionado, sofreram esquecimento severo durante o aprendizado sequencial.

No benchmark de contexto longo BABILong, os autores relatam um escalonamento quase perfeito até 10 milhões de tokens. Eles afirmam que o método superou linhas de base fortes, incluindo GPT-4 e Titans, ao comprimir informações de contexto longo diretamente na memória paramétrica.

Em conhecimento factual, testado com SQuAD e pré-treinamento continuado, o método de sono alcançou 48,9% na avaliação de tarefa única e 46,2% no pré-treinamento continuado. Essas pontuações superaram o modelo base, o ajuste fino supervisionado e os Self-Adapting Language Models, segundo o artigo, sem degradar representações existentes.

Em raciocínio matemático, o modelo base aprimorado pelo sono obteve 79,2% no AIME 24, 69,0% no AIME 25 e 46,1% no HMMT 25. Os autores afirmam que esses resultados superaram o ajuste fino supervisionado, a otimização de política relativa em grupo e a autodestilação on-policy, e atribuem o resultado à combinação de consolidação de memória e aprendizado por imitação.

O trabalho é de pesquisadores ligados ao Google, à Cornell University e à Universidade do Sul da Califórnia. Os autores descrevem o arcabouço como um passo em direção a sistemas de IA que continuam aprendendo após a implantação. Os resultados vêm dos próprios relatos dos pesquisadores, e o artigo ainda não foi verificado de forma independente.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.