Um novo pré-print no arXiv de Randall Balestriero e Yann LeCun defende que modelos treinados com texto e com imagens convergem para uma representação interna compartilhada do mundo. Os autores afirmam que modelos de incorporação conjunta treinados com “boas visões” bem escolhidas alcançam esse alinhamento com 42 vezes menos amostras do que a previsão do próximo token.

Modelos treinados com texto e modelos treinados com imagens podem estar aprendendo a mesma imagem subjacente do mundo, e um novo artigo afirma que isso pode ser comprovado. Randall Balestriero e Yann LeCun publicaram um pré-print no arXiv que transforma uma antiga conjectura da pesquisa em IA em um teorema formal, e seus resultados apontam para uma conclusão surpreendente: a forma como um modelo é treinado pode importar mais do que o seu tamanho.

A ideia central do trabalho é a Hipótese da Representação Platônica, que sustenta que modelos treinados com diferentes tipos de dados tendem a convergir para a mesma representação interna da realidade à medida que crescem em escala. Até agora, afirmam os autores, a hipótese não oferecia nem uma garantia nem um método. O artigo deles pretende fornecer ambos.

Modelos de IA de texto e de imagem aprendem a mesma representação?

O primeiro resultado é o que os autores chamam de Teorema da Representação Platônica. Ele trata das Arquiteturas Preditivas de Incorporação Conjunta, ou JEPAs, uma família de modelos que aprendem prevendo uma representação a partir de outra. De acordo com o artigo, JEPAs treinados separadamente com qualquer número de tipos de dados aprenderão a mesma representação, a menos de uma rotação, sob uma condição específica. Essa condição é que seus pares positivos sejam duas observações da mesma cena, o que os autores chamam de “boas visões”. Quando os pares não estão alinhados dessa forma, o artigo afirma que a discrepância entre os modelos é limitada.

Por que os modelos de linguagem se alinham à visão apenas por meio da escala?

O segundo resultado reformula a maneira como os modelos de linguagem aprendem. Os autores mostram que a previsão do próximo token, o método de treinamento central da maioria dos grandes modelos de linguagem, é, ela mesma, um JEPA. A diferença é que seus pares são o que o artigo chama de “más visões”, ou seja, partes de um único documento. Isso, segundo os autores, explica por que os modelos de linguagem só passam a se alinhar à visão por meio da escala.

Para testar a teoria, os pesquisadores realizaram experimentos que abrangeram uma ampla variedade de dados. Eles validaram a estrutura usando desde 145 mil legendas até o texto de 940 milhões de imagens da web. A partir dessas execuções, derivaram o que descrevem como uma lei de escala do alinhamento, uma fórmula que, segundo eles, prevê os resultados de execuções de treinamento não incluídas no estudo, dentro da variação normal causada por sementes aleatórias.

Quão mais eficientes são as boas visões em comparação com a previsão do próximo token?

A diferença de eficiência é o dado mais impressionante do artigo. Segundo os autores, as boas visões precisaram de 42 vezes menos amostras de treinamento do que a previsão do próximo token, no mesmo corpus, para atingir o mesmo nível de alinhamento. A conclusão do artigo sobre esse ponto é direta: a previsão do próximo token é um caminho notavelmente ineficiente até as representações platônicas.

A equipe também treinou um JEPA apenas de texto com 109 milhões de parâmetros. Os autores relatam que esse modelo pequeno se alinhou aos codificadores de imagem do DINOv2 e do CLIP melhor do que todos os modelos de linguagem avaliados, que chegavam a 72 bilhões de parâmetros. Ele também superou o próprio codificador de texto do CLIP na mesma medida. Na visão dos autores, as visões positivas, e não apenas a escala, são a alavanca para construir essas representações compartilhadas.

O artigo inclui uma demonstração do que uma representação compartilhada pode fazer. Os autores afirmam que uma única rotação entre codificadores treinados separadamente pode transformá-los em um gerador de legendas para imagens, que obteve um CIDEr de 0,838 no benchmark COCO. Vale destacar que a rotação não exige exemplos pareados de imagem e texto. No que os autores descrevem como o mais recente benchmark sem pares, seu JEPA de texto superou todas as acurácias zero-shot relatadas para modelos de linguagem de até 8 bilhões de parâmetros. No ImageNet-100, alcançou 64% de acurácia top-5, contra no máximo 56% para esses modelos de linguagem.

O artigo tem data de 29 de outubro de 2026 e está listado na categoria de ciência da computação e inteligência artificial do arXiv. As afirmações são dos próprios autores e não foram reproduzidas de forma independente no material disponível. Mesmo assim, o trabalho oferece uma explicação concreta para uma questão que acompanha os grandes modelos de linguagem há anos: por que sistemas treinados com texto parecem compreender conceitos visuais, e se essa compreensão poderia ser alcançada de forma mais eficiente. A resposta dos autores é que sim, desde que os pares de treinamento sejam bem escolhidos.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.