Las capas de los transformadores funcionan como almacenes de memoria, y la autoatención retiene la mayor capacidad
La entrada de blog de Alex Wang, “Podrías haber inventado los transformadores de memoria”, trata los bloques de construcción principales de los modelos de lenguaje modernos como almacenes de memoria. Con una medida, la proporción entre la interferencia de otros recuerdos almacenados y la señal de la memoria objetivo, Wang estima cuántos elementos puede recordar cada diseño antes de fallar. Un almacén lineal básico guarda aproximadamente tantas memorias como su dimensión de clave. Las capas MLP no lineales elevan esa cifra mucho más, y la autoatención puede almacenar cerca de 1,2 millones de memorias con 64 dimensiones. El análisis usa vectores aleatorios e ignora los datos de entrenamiento, por lo que es un modelo simplificado. Aun así, ofrece una forma clara de comparar cómo distintas capas almacenan la información. Leer más