Novo artigo prova que modelos de IA convergem para representações compartilhadas e aponta ineficiência do treinamento por linguagem
Os pesquisadores Randall Balestriero e Yann LeCun publicaram no arXiv um artigo que transforma a Hipótese da Representação Platônica, segundo a qual modelos de IA treinados com diferentes tipos de dados convergem para uma visão compartilhada do mundo à medida que escalam, em um teorema matemático. O artigo defende que o fator-chave é o tipo de pares de treinamento utilizados, e não apenas a escala. Seus autores relatam que o treinamento com “boas visões” precisou de 42 vezes menos amostras que a previsão do próximo token para atingir o mesmo alinhamento. Um modelo apenas de texto que eles desenvolveram também superou modelos de linguagem maiores no alinhamento com codificadores de imagem. Os resultados sugerem que a forma como os modelos são treinados importa tanto quanto o seu tamanho. Ler mais