Un modelo de lenguaje puede mejorarse a sí mismo reescribiendo sus propios pesos, según un nuevo preprint de un equipo de 11 investigadores. El artículo, publicado en el servidor de preprints arXiv, describe un modelo abierto de 27.000 millones de parámetros que razona sobre sus propios errores y luego edita los parámetros internos responsables de ellos. El proceso no requiere gradientes ni entrenamiento adicional.
Hoy en día, un modelo de lenguaje normalmente se entrena una vez y luego se congela. La optimización de los LLM suele implicar otra sesión de entrenamiento, o depender de un prompt, de un arnés de software que lo rodea o de cómputo adicional durante la inferencia. Esas mejoras desaparecen cuando termina la tarea. Los autores describen una tercera opción, a la que llaman autorreescritura, en la que el modelo actúa como su propio optimizador.
¿Cómo permite la autorreescritura que un modelo de lenguaje se mejore a sí mismo?
Los investigadores dicen que un estudio anterior usó un modelo de frontera para editar uno mucho más pequeño. En el nuevo trabajo, al modelo se le entregan sus propios pesos, sus respuestas calificadas y la capacidad de ejecutarse a sí mismo. Identifica dónde falló y reescribe los pesos detrás de esos fallos. Los autores reportan que la edición resultante hizo que el modelo fuera 6,6 puntos más preciso en problemas que nunca había visto.
El método también parece construirse sobre sí mismo. Según el artículo, el modelo prueba sus ediciones en problemas de práctica y solo envía los cambios que funcionan. Cada edición mejora la anterior. Durante ocho sesiones consecutivas, la precisión del modelo solo aumentó.
El equipo también probó si el modelo podía reparar daños. Crearon una copia dañada del modelo que casi no resolvía nada. Sin reentrenamiento y sin leer nunca los pesos originales, el modelo restauró la copia a más del 80 por ciento de la precisión del original en tareas de imágenes que no había visto antes.
¿Funciona la autorreescritura en modelos más pequeños?
La capacidad parece depender de la escala. En una familia de modelos, los más pequeños no hicieron ninguna edición útil o se dañaron a sí mismos. Solo el modelo más grande mejoró y se reparó, escriben los autores.
¿Cómo se compara la autorreescritura con el entrenamiento y el escalado en tiempo de prueba?
Los autores contrastan la autorreescritura con dos enfoques comunes. El escalado en tiempo de prueba añade cómputo a cada respuesta, por lo que tiene un costo cada vez que el modelo responde. El entrenamiento ejecuta un proceso separado para actualizar el modelo. La autorreescritura, en cambio, escribe sus ganancias directamente en los pesos, por lo que no añade ningún costo por respuesta. Además, solo ejecuta pasadas hacia adelante, el mismo tipo de cómputo que se usa cuando un modelo sirve respuestas, en lugar de las pasadas hacia atrás que se usan en el entrenamiento.
Los investigadores sostienen que la línea entre entrenamiento e inferencia refleja los límites de las herramientas actuales, no una característica fundamental de la inteligencia. Dicen que la autorreescritura es un paso necesario hacia la auto-mejora recursiva, en la que un modelo se sigue actualizando a lo largo de su vida útil. Un sistema así no necesitaría un modelo más grande, ingeniería de prompts ni etapas separadas de preentrenamiento o postentrenamiento, escriben.
El artículo es un preprint, y sus hallazgos no han sido verificados de forma independiente. La primera versión se envió el 16 de noviembre de 2026, y una versión revisada siguió el 18 de noviembre de 2026.
Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.