Un nuevo preprint en arXiv de Randall Balestriero y Yann LeCun sostiene que los modelos entrenados con texto e imágenes convergen en una representación interna compartida del mundo. Los autores afirman que los modelos de arquitectura predictiva de incrustación conjunta entrenados con 'buenas vistas' bien elegidas alcanzan esa alineación con 42 veces menos muestras que la predicción del siguiente token.

Los modelos entrenados con texto y los entrenados con imágenes podrían estar aprendiendo la misma imagen subyacente del mundo, y un nuevo artículo sostiene que eso puede demostrarse. Randall Balestriero y Yann LeCun publicaron un preprint en arXiv que convierte una conjetura de larga data en la investigación de IA en un teorema formal, y sus resultados apuntan a una conclusión sorprendente: la forma en que se entrena un modelo puede importar más que su tamaño.

\n

La idea central del trabajo es la Hipótesis de la Representación Platónica, que sostiene que los modelos entrenados con distintos tipos de datos tienden a converger en la misma representación interna de la realidad a medida que crecen en escala. Hasta ahora, según los autores, la hipótesis no ofrecía ni una garantía ni un método. Su artículo pretende proporcionar ambas cosas.

\n

¿Aprenden los modelos de IA de texto e imagen la misma representación?

El primer resultado es lo que los autores llaman un Teorema de la Representación Platónica. Se refiere a las Arquitecturas Predictivas de Incrustación Conjunta, o JEPA, una familia de modelos que aprenden a predecir una representación a partir de otra. Según el artículo, las JEPA entrenadas por separado con cualquier cantidad de tipos de datos aprenderán la misma representación, salvo una rotación, bajo una condición específica. Dicha condición es que sus pares positivos sean dos observaciones de la misma escena, lo que los autores denominan 'buenas vistas'. Cuando los pares no están alineados de esa manera, el artículo afirma que la discrepancia entre los modelos está acotada.

\n

¿Por qué los modelos de lenguaje se alinean con la visión solo mediante la escala?

El segundo resultado replantea la forma en que aprenden los modelos de lenguaje. Los autores muestran que la predicción del siguiente token, el método de entrenamiento central de la mayoría de los grandes modelos de lenguaje, es en sí misma una JEPA. La diferencia es que sus pares son lo que el artículo llama 'malas vistas', es decir, partes de un mismo documento. Eso, según los autores, explica por qué los modelos de lenguaje solo llegan a alinearse con la visión mediante la escala.

\n

Para probar la teoría, los investigadores realizaron experimentos que abarcaron una amplia gama de datos. Validaron el marco con todo, desde 145.000 subtítulos hasta el texto de 940 millones de imágenes web. A partir de esas pruebas, derivaron lo que describen como una ley de escalamiento de la alineación, una fórmula que, según afirman, predice los resultados de entrenamientos no incluidos en el estudio dentro de la variación normal causada por las semillas aleatorias.

\n

¿Qué tan más eficientes son las buenas vistas que la predicción del siguiente token?

La brecha de eficiencia es la cifra más llamativa del artículo. Según los autores, las buenas vistas necesitaron 42 veces menos muestras de entrenamiento que la predicción del siguiente token, sobre el mismo corpus, para alcanzar el mismo nivel de alineación. La conclusión del artículo en este punto es contundente: la predicción del siguiente token es una ruta notablemente ineficiente hacia las representaciones platónicas.

\n

El equipo también entrenó una JEPA solo de texto con 109 millones de parámetros. Los autores informan que este pequeño modelo se alineó con los codificadores de imágenes de DINOv2 y CLIP mejor que todos los modelos de lenguaje que evaluaron, los cuales llegaban hasta 72.000 millones de parámetros. También superó al propio codificador de texto de CLIP en la misma medida. En el planteamiento de los autores, las vistas positivas, y no solo la escala, son la palanca para construir estas representaciones compartidas.

\n

El artículo incluye una demostración de lo que puede hacer una representación compartida. Los autores afirman que una sola rotación entre codificadores entrenados por separado puede convertirlos en un generador de descripciones de imágenes, que obtuvo un CIDEr de 0,838 en el punto de referencia COCO. Cabe destacar que la rotación no requiere ejemplos emparejados de imagen y texto. En lo que los autores describen como el más reciente punto de referencia sin pares, su JEPA de texto superó todas las precisiones de cero disparos reportadas para modelos de lenguaje de hasta 8.000 millones de parámetros. En ImageNet-100, alcanzó una precisión top-5 de 64 por ciento, frente a un máximo de 56 por ciento para esos modelos de lenguaje.

\n

El artículo tiene fecha del 29 de octubre de 2026 y está clasificado en la categoría de informática e inteligencia artificial de arXiv. Sus afirmaciones son propias de los autores y, en el material disponible, no han sido reproducidas de forma independiente. Aun así, el trabajo ofrece una explicación concreta a una pregunta que ha acompañado a los grandes modelos de lenguaje durante años: por qué los sistemas entrenados con texto parecen captar conceptos visuales, y si esa comprensión podría lograrse de forma más eficiente. La respuesta de los autores es que sí puede lograrse, siempre que los pares de entrenamiento se elijan bien.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.