Los modelos de lenguaje de gran escala están diseñados para ser estáticos una vez salen del laboratorio. Después del preentrenamiento, responden preguntas con un límite de conocimiento fijo, y todo lo que aprenden durante una conversación desaparece cuando termina la sesión. Un nuevo marco de investigación busca cambiar eso al darles a los modelos un periodo de descanso regular en el que fijan la nueva información en su memoria de largo plazo.

¿Cómo ayuda un marco de sueño a los LLM a retener nuevo conocimiento?

El enfoque, al que los autores llaman marco de sueño, alterna entre dos estados. En la fase activa, o de vigilia, el modelo recibe y procesa entradas y almacena información temporal en una memoria de corto plazo rápida. En la fase de sueño, deja de manejar nuevas entradas y concentra su atención en consolidar lo que ha aprendido.

¿Evita el marco de sueño el olvido catastrófico?

Los investigadores afirman que la idea aborda un problema de larga data en el aprendizaje automático. Simplemente reentrenar un modelo con nuevos datos tiende a causar olvido catastrófico, es decir, que aprender una nueva tarea deteriore gravemente el desempeño en las anteriores. Depender solo del aprendizaje en contexto evita ese daño, pero el conocimiento desaparece una vez queda fuera de la ventana de contexto del modelo.

Cómo funciona el ciclo de sueño

El marco tiene dos etapas, que los autores describen como consolidación de memoria y ensoñación. La etapa de consolidación pretende imitar el sueño de ondas lentas del cerebro humano, cuando los recuerdos frágiles se convierten en estructuras más duraderas.

Durante la consolidación, el modelo amplía su capacidad. Utiliza una arquitectura de Mezcla de Expertos y un diseño que los investigadores llaman Hope para agregar expertos de bajo rango, que se integran en bloques de memoria estables y de menor frecuencia. El nuevo conocimiento se almacena allí sin sobrescribir los parámetros anteriores. La información retenida en capas de alta frecuencia, como la memoria en contexto, se transfiere a estos parámetros ampliados mediante una combinación de destilación generalizada de conocimiento e imitación basada en aprendizaje por refuerzo. Una vez completada esa transferencia, los parámetros temporales de alta frecuencia se reinician, liberando espacio para la siguiente sesión activa.

La etapa de ensoñación funciona de otra manera. El modelo genera ejemplos de entrenamiento sintéticos, a los que los autores llaman sueños, y activa de forma aleatoria expertos que normalmente no usaría. Los investigadores dicen que esto obliga al modelo a combinar diferentes áreas de conocimiento. Luego, un filtro basado en gradientes selecciona las muestras de sueño con más probabilidades de mejorar la capacidad general del modelo, y el modelo se ajusta finamente con esos ejemplos mejor calificados. El modelo también verifica si los cambios mejoran su desempeño en tareas posteriores.

Los autores sostienen que esto es más que una simple aumentación de datos. Según su explicación, la selección aleatoria de expertos amplía el rango de actualizaciones que el modelo explora, y el paso de filtrado enfatiza las señales de aprendizaje más útiles. El objetivo, escriben, es un proceso de optimización más equilibrado, en el que el aprendizaje no esté dominado por un pequeño número de direcciones.

Resultados de las pruebas de referencia

¿Qué tan bien se desempeña el marco de sueño en las pruebas de referencia?

Los investigadores compararon el marco con líneas base que incluyen aprendizaje en contexto, ajuste fino supervisado y otros métodos de aprendizaje continuo en varias evaluaciones.

En traducción continua con idiomas de datos de entrenamiento limitados, entre ellos manchú y kalamang, el marco de sueño mantuvo una caída de rendimiento cercana a cero a lo largo de varias etapas de entrenamiento. Las líneas base estándar, incluidas el aprendizaje en contexto, Cartridges y el ajuste fino supervisado, sufrieron un olvido severo durante el aprendizaje secuencial.

En el benchmark de contexto largo BABILong, los autores reportan un escalamiento casi perfecto hasta 10 millones de tokens. Afirman que el método superó a líneas base sólidas, entre ellas GPT-4 y Titans, al comprimir la información de contexto largo directamente en la memoria paramétrica.

En conocimiento factual, probado con SQuAD y preentrenamiento continuo, el método de sueño alcanzó 48,9 por ciento en la evaluación de tarea única y 46,2 por ciento en el preentrenamiento continuo. Esos puntajes superaron al modelo base, al ajuste fino supervisado y a Self-Adapting Language Models, según el artículo, sin degradar las representaciones existentes.

En razonamiento matemático, el modelo base mejorado con sueño obtuvo 79,2 por ciento en AIME 24, 69,0 por ciento en AIME 25 y 46,1 por ciento en HMMT 25. Los autores afirman que esos resultados superaron al ajuste fino supervisado, a la optimización de políticas relativas por grupos y a la autodestilación en la política, y atribuyen el logro a la combinación de consolidación de memoria e imitación.

El trabajo proviene de investigadores afiliados a Google, la Universidad de Cornell y la Universidad del Sur de California. Los autores describen el marco como un paso hacia sistemas de IA que siguen aprendiendo después de su despliegue. Los resultados provienen de los propios reportes de los investigadores, y el artículo no ha sido verificado de forma independiente.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.