Pesquisadores publicaram uma lei de escalonamento que sustenta que desenvolvedores de IA deveriam construir modelos de linguagem muito maiores do que sugere a prática atual, desde que os treinem em passagens repetidas por um conjunto de dados limitado. O artigo, intitulado “Melhorando o Escalonamento com Restrição de Dados por Meio da Transferência de Hiperparâmetros e Agregação de Modelos”, é assinado por Ethan Baron, Shmuel Berman, Anirudh Satheesh, Akshay Vegesna, Samip Dahal e Andrew Gordon Wilson.

\n\n

Quantos parâmetros os modelos de IA deveriam ter com dados limitados?

A principal afirmação diz respeito ao tamanho. O Chinchilla, estudo influente de 2022 da DeepMind, prescreve cerca de 20 tokens de treinamento para cada parâmetro do modelo. Extrapolada para um conjunto de dados de 5 trilhões de tokens, a nova lei prevê uma contagem de parâmetros ideal em termos de computação de aproximadamente 7.000 vezes o valor do Chinchilla, com 10^29 FLOPs. Nesse orçamento, o conjunto mantém mais de 300 parâmetros por token. Os autores afirmam que a contagem continua crescendo à medida que a capacidade computacional aumenta.

\n\n

A motivação começa com uma comparação com o cérebro humano. Os autores observam que os humanos têm cerca de 100 trilhões de sinapses, contando cada uma como um peso, e aprendem a partir de aproximadamente 200 milhões de tokens. Isso coloca a razão humana bem distante da usada nos sistemas de IA atuais. O artigo afirma que a diferença na razão entre tokens e parâmetros entre a IA e os humanos é de cerca de 10.000.000 de vezes. Fechar essa lacuna, argumentam os autores, pode ser um passo importante para uma melhor eficiência amostral. “Nossas redes atuais são pequenas demais”, diz o artigo, estimando que estejam defasadas em sete ordens de grandeza.

\n\n

Por que os dados repetidos mudam a matemática

\n\n

O trabalho se baseia em uma restrição prática. O artigo cita pesquisas anteriores que sugerem que a capacidade computacional cresce muito mais rápido do que a oferta de dados de treinamento de linguagem de alta qualidade. Como resultado, os futuros modelos de linguagem provavelmente serão treinados por múltiplas épocas sobre os mesmos dados.

\n\n

Para estudar esse regime, a equipe treinou transformadores em conjuntos de dados fixos, variando o tamanho dos dados, o tamanho dos modelos e o número de épocas. Em seguida, ajustou uma única equação que prevê a perda a partir de quatro grandezas: o número de tokens únicos, o tamanho do modelo, o número de épocas e o número de membros da agregação. A lei amplia trabalhos anteriores de escalonamento com dados limitados, de Niklas Muennighoff e colegas em 2023, e de Justin Lovelace e colegas em 2026, acrescentando um novo termo para a agregação de modelos.

\n\n

Por que a decaimento de peso importa ao treinar com dados repetidos?

O decaimento de peso revelou-se uma peça central do quebra-cabeça. As leis anteriores de escalonamento com dados limitados mantinham o decaimento de peso fixo entre os tamanhos de modelo, e os autores afirmam que essas leis previam que a perda aumentaria com a capacidade computacional. A equipe, em vez disso, ajustou leis de potência que mostram que o decaimento de peso ideal cresce de forma acentuada tanto com o número de épocas quanto com o tamanho do modelo. Na prática, isso significa que orçamentos maiores, em conjuntos de dados fixos, devem ser direcionados a modelos maiores treinados por mais épocas.

\n\n

Os autores afirmam que a lei se sustenta quando extrapolada. Eles relatam que ela fica próxima do ideal com 16 vezes a capacidade computacional usada para ajustá-la, e a menos de 0,01 nats da perda ótima em todos os eixos testados. Também dizem que cada heurística anterior que examinaram falharia em pelo menos um eixo.

\n\n

Agregação de modelos como forma de usar a capacidade computacional extra

\n\n

O que são a agregação por snapshots e a agregação profunda nesta lei de escalonamento?

A segunda metade do artigo concentra-se na agregação de modelos, que combina previsões de múltiplos modelos. A equipe usou duas abordagens. A primeira é a agregação por snapshots, que salva checkpoints de diferentes pontos de uma única execução de treinamento e calcula a média de suas previsões. Como os checkpoints vêm de uma mesma execução, o método não acrescenta capacidade computacional de treinamento. Para tornar os snapshots diversos, os pesquisadores variaram ciclicamente a taxa de aprendizado durante a segunda metade do treinamento, elevando-a e reduzindo-a em ciclos de uma época. Eles constataram que isso superou manter a taxa de aprendizado em seu pico.

\n\n

A segunda abordagem é a agregação profunda, que treina modelos independentes com sementes aleatórias diferentes e calcula a média entre eles. Cada membro exige uma execução completa de treinamento, por isso é muito mais custosa. Os autores constataram que a agregação profunda se torna ideal em termos de computação quando o orçamento é grande em relação ao conjunto de dados. Além desse ponto, o número ideal de membros cresce aproximadamente de forma linear com a capacidade computacional.

\n\n

Considerados em conjunto, a receita consiste em aumentar primeiro o tamanho do modelo e o número de épocas, usando decaimento de peso escalonado e agregação por snapshots, e depois direcionar qualquer capacidade computacional restante aos membros da agregação profunda. Os autores afirmam que a perda continua caindo à medida que a capacidade computacional aumenta nessa abordagem, enquanto as receitas anteriores acabam piorando.

\n\n

A conclusão do artigo é comedida. Os autores afirmam que suas prescrições aumentam o tamanho das redes em quatro ordens de grandeza em conjuntos de dados limitados. Ir além, escrevem, exigirá novos algoritmos, hardware e mais. Eles dizem que terão mais novidades em breve.

Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.