Investigadores publicaron una ley de escalamiento que sostiene que los desarrolladores de IA deberían construir modelos de lenguaje mucho más grandes de lo que sugiere la práctica actual, siempre que los entrenen con pasadas repetidas sobre un conjunto de datos limitado. El artículo, “Improving Data-Constrained Scaling with Hyperparameter Transfer and Ensembling”, fue escrito por Ethan Baron, Shmuel Berman, Anirudh Satheesh, Akshay Vegesna, Samip Dahal y Andrew Gordon Wilson.
\n\n¿Cuántos parámetros deberían tener los modelos de IA con datos limitados?
La afirmación central tiene que ver con el tamaño. Chinchilla, el influyente estudio de 2022 de DeepMind, prescribe unos 20 tokens de entrenamiento por cada parámetro del modelo. Extrapolada a un conjunto de datos de 5 billones de tokens, la nueva ley exige una cantidad óptima de parámetros para el cómputo de aproximadamente 7.000 veces la cifra de Chinchilla con 10^29 FLOPs. Con ese presupuesto, el ensamble supera los 300 parámetros por token. Los autores afirman que la cantidad sigue creciendo a medida que aumenta el cómputo.
\n\nLa motivación parte de una comparación con el cerebro humano. Los autores señalan que los humanos tienen unos 100 billones de sinapsis, contando cada una como un peso, y aprenden a partir de unos 200 millones de tokens. Esto sitúa la proporción humana muy lejos de la que se usa en los sistemas de IA actuales. El artículo señala que la brecha en tokens por parámetro entre la IA y los humanos es de unas 10.000.000 veces. Cerrar esa brecha, según los autores, podría ser un paso importante hacia una mejor eficiencia de muestra. “Nuestras redes actuales son demasiado pequeñas”, afirma el artículo, al estimar que están desfasadas en siete órdenes de magnitud.
\n\nPor qué los datos repetidos cambian las matemáticas
\n\nEl trabajo se basa en una restricción práctica. El artículo cita investigaciones anteriores que sugieren que el cómputo crece mucho más rápido que la oferta de datos de entrenamiento de lenguaje de alta calidad. Como resultado, es probable que los futuros modelos de lenguaje se entrenen durante múltiples épocas con los mismos datos.
\n\nPara estudiar ese régimen, el equipo entrenó transformadores con conjuntos de datos fijos, en un rango de tamaños de datos, tamaños de modelo y cantidades de épocas. Luego ajustaron una única ecuación que predice la pérdida a partir de cuatro cantidades: el número de tokens únicos, el tamaño del modelo, el número de épocas y el número de miembros del ensamble. La ley amplía trabajos previos de escalamiento con datos limitados de Niklas Muennighoff y colegas en 2023, y de Justin Lovelace y colegas en 2026, al añadir un nuevo término para los ensambles.
\n\n¿Por qué importa el decaimiento de peso al entrenar con datos repetidos?
El decaimiento de peso resultó ser una pieza clave del rompecabezas. Las leyes de escalamiento con datos limitados anteriores mantenían fijo el decaimiento de peso en todos los tamaños de modelo, y los autores afirman que esas leyes predecían que la pérdida aumentaba con el cómputo. El equipo, en cambio, ajustó leyes de potencia que muestran que el decaimiento de peso óptimo crece de forma pronunciada tanto con el número de épocas como con el tamaño del modelo. En la práctica, esto significa que los presupuestos más grandes con conjuntos de datos fijos deberían destinarse a modelos más grandes entrenados durante más épocas.
\n\nLos autores afirman que la ley se sostiene al extrapolarla. Informan que es casi óptima con 16 veces el cómputo usado para ajustarla, y que se mantiene a menos de 0,01 nats de la pérdida óptima en cada eje que evaluaron. También afirman que cada heurística previa que examinaron fallaría en al menos un eje.
\n\nLos ensambles como forma de usar el cómputo adicional
\n\n¿Qué son el ensamble de instantáneas y el ensamble profundo en esta ley de escalamiento?
La segunda mitad del artículo se centra en el ensamblaje, que combina las predicciones de varios modelos. El equipo usó dos enfoques. El primero es el ensamble de instantáneas, que guarda puntos de control de distintos momentos de una misma sesión de entrenamiento y promedia sus predicciones. Como los puntos de control provienen de una sola sesión, el método no añade cómputo de entrenamiento. Para que las instantáneas sean diversas, los investigadores hicieron variar la tasa de aprendizaje durante la segunda mitad del entrenamiento, subiéndola y bajándola en ciclos de una época. Encontraron que esto superaba a mantener la tasa de aprendizaje en su nivel máximo.
\n\nEl segundo enfoque es el ensamble profundo, que entrena modelos independientes con distintas semillas aleatorias y promedia sus resultados. Cada miembro requiere una sesión de entrenamiento completa, por lo que es mucho más costoso. Los autores encontraron que el ensamble profundo se vuelve óptimo para el cómputo una vez que el presupuesto de cómputo es grande en relación con el conjunto de datos. Más allá de ese punto, el número óptimo de miembros crece aproximadamente de forma lineal con el cómputo.
\n\nEn conjunto, la receta consiste en aumentar primero el tamaño del modelo y el número de épocas, usando decaimiento de peso escalado y ensamble de instantáneas, y luego destinar el cómputo restante a miembros del ensamble profundo. Los autores afirman que, con este enfoque, la pérdida sigue disminuyendo a medida que aumenta el cómputo, mientras que las recetas anteriores terminan empeorando.
\n\nLa conclusión del artículo es mesurada. Los autores afirman que sus prescripciones aumentan el tamaño de las redes en cuatro órdenes de magnitud con conjuntos de datos limitados. Ir más allá, escriben, requerirá nuevos algoritmos, hardware y más. Dicen que pronto tendrán más para compartir.
Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.