Investigadores desarrollaron un método para destilar un modelo Transformer estándar en Mamba, un Modelo de Espacio de Estados que no utiliza bloques de Atención. El modelo resultante conserva la mayor parte del rendimiento del maestro y se traslada a tareas posteriores, aunque algunas tareas que dependen más del recuerdo en contexto muestran brechas.
¿Por qué pasar de Transformers a Mamba?
Los Modelos de Espacio de Estados, como Mamba, han ganado terreno como alternativa a los Transformers. Utilizan menos memoria y ofrecen un mayor rendimiento de procesamiento durante la generación que sus equivalentes basados en Atención. El problema es que la comunidad de aprendizaje automático ha dedicado años a desarrollar conocimientos para entrenar Transformers, y muchos modelos Transformer preentrenados ya están disponibles. Cambiar de arquitectura implica renunciar a esa inversión o encontrar la manera de trasladarla.
Ese es el problema que el equipo se propuso resolver. Trabajos anteriores sobre destilación entre arquitecturas encontraron que un intento directo de transferir conocimiento de un Transformer a Mamba no logró preservar el rendimiento del maestro original. Los desarrolladores solían sortear el problema con diseños híbridos que combinan bloques de Atención y bloques SSM.
Los investigadores sostienen que el problema puede abordarse con un mejor punto de partida. Al dar a Mamba una inicialización fundamentada, afirman, el proceso de destilación entre arquitecturas puede producir mejores resultados sin recurrir al enfoque híbrido.
¿Cómo funciona la receta de destilación de Transformer a Mamba?
Su método se ejecuta en dos etapas. Primero, el conocimiento se destila de un Transformer tradicional en una versión linealizada de la Atención, mediante una adaptación del truco del núcleo (kernel trick). Segundo, ese modelo linealizado se destila en un modelo Mamba adaptado que no contiene bloques de Atención.
¿Puede un modelo Mamba igualar el rendimiento de un Transformer?
El equipo probó el enfoque usando Pythia-1B como maestro. El modelo Mamba destilado alcanzó una perplejidad de 14,01, cercana al 13,86 del maestro. Los investigadores afirmaron que el rendimiento se trasladó en gran medida a tareas posteriores, pero aparecieron algunas brechas en tareas que dependen más del recuerdo en contexto.
Para evaluar la receta, los investigadores realizaron estudios de ablación a escala de 1.000 millones de parámetros usando 10.000 millones de tokens. Variaron la arquitectura del mezclador de secuencias, analizaron cómo escaló el rendimiento con el tamaño del modelo y el número total de tokens de destilación, y probaron qué tan sensibles eran los resultados a la forma en que se dividían los tokens entre las dos etapas.
Para los desarrolladores que evalúan si pasar a los SSM, el trabajo ofrece una vía para reutilizar los puntos de control de Transformer existentes en lugar de entrenar modelos nuevos desde cero. Los resultados aún muestran una compensación, particularmente en tareas intensivas en recuerdo, y los hallazgos del artículo se limitan a la escala y al modelo probados.
Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.