Principais Modelos de IA Falham no Teste Clássico de Stroop, Estudo Descobre

Key Points

Estudo na PNAS Nexus testou GPT-4o e Claude 3.5 Sonnet no efeito de Stroop.
Participantes humanos mantiveram cerca de 95% de precisão, mesmo em testes prolongados e incongruentes.
A precisão do GPT-4o caiu de 91% (5 palavras) para 15% (40 palavras).
Claude 3.5 Sonnet caiu de 76% (20 palavras) para 24% (40 palavras).
Testes suplementares com GPT-5, Claude Opus 4.1 e Gemini 2.5 Pro mostraram apenas melhorias marginais.
Pesquisadores atribuem a lacuna à limitação dos mecanismos de atenção baseados em transformadores.
Autores argumentam que a adição de sistemas de controle executivo é essencial para alcançar a IA geral.

Um estudo publicado na PNAS Nexus testou GPT-4o e Claude 3.5 Sonnet no teste de Stroop, um clássico teste psicológico que mede a capacidade de suprimir respostas automáticas. Os resultados mostram que os modelos de IA performam mal no teste, especialmente à medida que o comprimento da tarefa aumenta.

Os pesquisadores também realizaram testes suplementares com GPT-5, Claude Opus 4.1 e Gemini 2.5 Pro, mas os resultados mostraram apenas ganhos marginais. Os autores argumentam que a causa raiz está na arquitetura de transformador que subjaz os atuais LLMs e que a integração de mecanismos de controle executivo é essencial para alcançar a inteligência artificial geral.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.

Também disponível em:

English USTop AI Models Falter on Classic Stroop Test, Study Finds Español COLos principales modelos de IA fallan en la prueba clásica de Stroop, según un estudio