Pesquisadores desenvolveram um método para destilar um modelo Transformer padrão em um Mamba, um Modelo de Espaço de Estados que não usa blocos de Atenção. O modelo resultante mantém a maior parte do desempenho do professor e se transfere para tarefas posteriores, embora algumas tarefas que dependem mais intensamente da recuperação em contexto apresentem lacunas.
Por que migrar dos Transformers para o Mamba?
Modelos de Espaço de Estados, como o Mamba, ganharam força como alternativa aos Transformers. Eles usam menos memória e oferecem maior vazão durante a geração de texto em comparação com seus equivalentes baseados em Atenção. O problema é que a comunidade de aprendizado de máquina passou anos acumulando conhecimento técnico para treinar Transformers, e muitos modelos Transformer pré-treinados já estão disponíveis. Trocar de arquitetura significa abrir mão desse investimento ou encontrar uma forma de aproveitá-lo.
É esse o problema que a equipe se propôs a resolver. Trabalhos anteriores sobre destilação entre arquiteturas constataram que uma tentativa direta de transferir conhecimento de um Transformer para o Mamba não conseguia preservar o desempenho do modelo original. Desenvolvedores costumavam contornar o problema com projetos híbridos que combinam blocos de Atenção e blocos SSM.
Os pesquisadores argumentam que o problema pode ser resolvido com um ponto de partida melhor. Ao dar ao Mamba uma inicialização fundamentada em princípios, afirmam, o processo de destilação entre arquiteturas pode produzir resultados melhores sem a necessidade da abordagem híbrida.
Como funciona a receita de destilação de Transformer para Mamba?
O método do grupo ocorre em duas etapas. Primeiro, o conhecimento é destilado de um Transformer tradicional para uma versão linearizada da Atenção, usando uma adaptação do truque do kernel. Em seguida, esse modelo linearizado é destilado em um modelo Mamba adaptado, que não contém blocos de Atenção.
Um modelo Mamba consegue igualar o desempenho de um Transformer?
A equipe testou a abordagem usando o Pythia-1B como professor. O modelo Mamba destilado alcançou uma perplexidade de 14,01, próxima dos 13,86 do modelo original. Os pesquisadores afirmaram que o desempenho se transferiu em grande parte para tarefas posteriores, mas surgiram algumas lacunas em tarefas que dependem mais da recuperação em contexto.
Para avaliar a receita, os pesquisadores realizaram estudos de ablação na escala de 1 bilhão de parâmetros, usando 10 bilhões de tokens. Eles variaram a arquitetura do misturador de sequências, analisaram como o desempenho escalava com o tamanho do modelo e com o número total de tokens de destilação, e testaram o quanto os resultados eram sensíveis à forma como os tokens foram divididos entre as duas etapas.
Para desenvolvedores que avaliam a migração para SSMs, o trabalho oferece um caminho para reaproveitar checkpoints de Transformers existentes, em vez de treinar novos modelos do zero. Os resultados ainda mostram um compromisso, especialmente em tarefas intensivas em recuperação, e as conclusões do artigo se limitam à escala e ao modelo testados.
Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.