Pesquisadores de uma universidade anônima publicaram um artigo revisado por pares na revista PNAS Nexus que coloca as capacidades de atenção dos atuais modelos de linguagem grande (LLMs) sob escrutínio. O estudo submeteu GPT-4o e Claude 3.5 Sonnet ao teste clássico de Stroop – uma tarefa psicológica que mede como um sujeito pode suprimir uma resposta de leitura automática em favor de nomear a cor da tinta.

No experimento, os participantes – humanos e IA – foram apresentados a palavras impressas em tinta colorida. Quando o significado da palavra coincidia com a cor da tinta (congruente) ou era neutro, o desempenho foi alto em todos os casos. O verdadeiro desafio surgiu quando a palavra e a cor conflitavam (incongruente). Os humanos mantiveram sua precisão perto de 95% mesmo quando o teste se estendeu por uma hora. Os modelos, no entanto, tropeçaram dramaticamente à medida que a lista cresceu.

GPT-4o respondeu corretamente em 91% do conjunto de cinco palavras, mas caiu para 57% com dez palavras, 22% com vinte e apenas 15% na lista de quarenta palavras. Claude 3.5 Sonnet mostrou uma trajetória ligeiramente melhor, mantendo 76% de precisão em vinte palavras antes de cair para 24% no nível mais longo. Os autores descrevem essa degradação acentuada como evidência de "limitações fundamentais em comparação com a atenção humana".

O artigo também observa que os modelos testados eram as versões de ponta no momento da coleta de dados, embora agora sejam ultrapassados por lançamentos mais recentes. Para abordar críticas sobre o uso de sistemas mais antigos, os pesquisadores realizaram uma rodada suplementar em setembro de 2025 com GPT-5, Claude Opus 4.1 e Gemini 2.5 Pro. Esses modelos mais recentes mostraram apenas ganhos marginais e continuaram a exibir "deficiências de atenção executiva", de acordo com os autores.

Uma descoberta controversa envolve o modo "Pensamento" do GPT-5, que pode gerar e executar código para resolver a tarefa de Stroop perfeitamente. A equipe argumenta que isso é uma solução que mascara a falta de atenção subjacente, em vez de uma melhoria arquitetônica genuína.

Além dos números brutos, os autores do estudo argumentam que a causa raiz está na arquitetura de transformador que subjaz os atuais LLMs. Embora inovações recentes tenham reforçado a capacidade de memória, elas não abordaram a necessidade de redes de alerta, orientação e controle executivo sofisticadas que permitem comportamento flexível e direcionado a metas. Os pesquisadores propõem que futuros avanços em direção à inteligência artificial geral exigirão a integração de tais mecanismos de controle executivo, ecoando como a atenção biológica opera.

As descobertas despertaram um debate animado no Reddit, onde os usuários questionaram a relevância de testar versões de modelo mais antigas. No entanto, os autores mantêm que seus resultados expõem um desafio persistente e de nível de arquitetura que qualquer caminho para a IA geral deve superar.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.