Um pesquisador fez uma grande descoberta no treinamento de grandes modelos de linguagem, alcançando uma pontuação CORE de 0,384 com um modelo de 3,8 bilhões de parâmetros por apenas $998. Essa conquista é um testemunho do rápido progresso que está sendo feito no campo da inteligência artificial e da crescente acessibilidade da computação de alto desempenho.

O modelo, treinado em 65 bilhões de tokens em 43 horas, supera o modelo GPT-2, que foi um resultado de ponta em 2019. A conquista do pesquisador é ainda mais impressionante considerando que foi alcançada com uma única pessoa e um orçamento limitado, enquanto o modelo GPT-2 foi desenvolvido por um laboratório bem financiado com uma grande equipe.

O processo de treinamento envolveu alugar GPUs por hora e utilizar uma estrutura de treinamento configurada para treinar pequenos decodificadores de LLMs. O pesquisador experimentou com várias técnicas, incluindo escalas de LR trapezoidais, otimizadores Muon e treinamento FP8, para otimizar o desempenho do modelo. Os resultados mostram que o modelo é capaz de alcançar resultados de alta qualidade com um orçamento relativamente modesto.

Uma das principais descobertas da pesquisa é a importância do comprimento do contexto para alcançar altas pontuações CORE. O pesquisador descobriu que aumentar o comprimento do contexto de 1024 para 2048 tokens resultou em uma melhoria significativa no desempenho, particularmente em tarefas que são muito sensíveis ao contexto. No entanto, essa melhoria veio com o custo de uma redução na taxa de transferência, destacando a necessidade de uma otimização cuidadosa dos parâmetros do modelo e dos procedimentos de treinamento.

O estudo também destaca o potencial das embeddings de valor para melhorar o desempenho do modelo. O pesquisador descobriu que as embeddings de valor foram úteis para um modelo pequeno e não tiveram quase nenhum custo de taxa de transferência, sugerindo que elas poderiam ser uma ferramenta valiosa para otimizar o desempenho do modelo no futuro.

No geral, a conquista do pesquisador demonstra o rápido progresso que está sendo feito no campo da inteligência artificial e a crescente acessibilidade da computação de alto desempenho. À medida que o campo continua a evoluir, será emocionante ver quais outras conquistas podem ser alcançadas com orçamentos e recursos limitados.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.