O Instituto de Língua Estoniana publicou um benchmark abrangente que mede como os grandes modelos de linguagem (LLMs) resistem à propaganda russa. Os modelos de peso aberto lideram a lista, com o Nemotron da Nvidia e o Qwen da Alibaba entregando resultados comparáveis às melhores ofertas da Anthropic. O GPT-5.4 da OpenAI emergiu como o sistema com a pontuação mais alta, rotulando 54 por cento de suas respostas como "Exemplar" e registrando uma pontuação média de 88,9.
Os modelos de fronteira recentes mostram uma melhoria acentuada em relação aos seus antecessores. O Claude 3.5 Haiku, lançado em 2024, registrou uma pontuação média de 73,1, colocando-o no terço inferior dos modelos avaliados em 2026. Em contraste, os modelos mais antigos, de apenas alguns anos atrás, lutaram para alcançar níveis de resistência semelhantes. A tendência ascendente sugere que os desenvolvedores estão cada vez mais priorizando salvaguardas contra a desinformação patrocinada pelo Estado.
No entanto, o desempenho do Google permanece misto. Os benchmarks detalhados do instituto revelam que o Gemini 2.5 Pro, o modelo mais resistente à propaganda da empresa até o momento, registra uma pontuação média de 82, mas sua suscetibilidade a prompts maliciosamente formulados levanta preocupações. Seu sucessor, o Gemini 3.5 Flash, caiu para uma pontuação média de 73 - semelhante aos modelos da Anthropic lançados dois anos antes. A queda é especialmente pronunciada quando o modelo é consultado em russo; as pontuações nessa língua são significativamente mais baixas do que em inglês.
Outros sistemas de peso aberto exibem fraquezas linguísticas semelhantes. O Kimi K2 da Moonshot e o Step 3.5 Flash da StepFun viram suas pontuações de resistência diminuir quando testados com prompts em russo. O padrão aponta para um desafio mais amplo: muitos LLMs, apesar de um desempenho geral forte, carecem da compreensão linguística e cultural sutil necessária para flagrar a propaganda em várias línguas.
Além dos números brutos, o estudo cita pesquisas do professor Gregory Asmolov, da King\'s College, que argumenta que o governo russo está utilizando alianças técnicas com nações do BRICS para influenciar os modelos de IA. Ao incorporar "pontos de vista culturalmente sensíveis" nos dados de treinamento, Moscou espera moldar como os LLMs interpretam o conteúdo politicamente carregado. O benchmark estoniano serve, portanto, não apenas como uma métrica de desempenho, mas também como um alerta sobre a manipulação geopolítica da IA.
Observadores da indústria notam que a ênfase do benchmark no teste multilíngue pode impulsionar os ciclos de desenvolvimento futuros. Se os desenvolvedores integrarem defesas mais robustas de cross-linguagem, a lacuna entre a resistência apenas em inglês e a resistência multilíngue pode diminuir. Por agora, os dados sugerem que os modelos de peso aberto estão liderando o caminho, enquanto alguns dos principais jogadores proprietários ainda têm trabalho a fazer.
Partes interessadas, desde formuladores de políticas até pesquisadores de IA, estão observando os resultados de perto. O benchmark oferece uma régua concreta para medir o progresso, mas também destaca a necessidade de vigilância contínua à medida que atores estatais refinam suas táticas de propaganda. À medida que os LLMs se tornam mais incorporados à comunicação cotidiana, garantir que eles possam discernir e rejeitar a desinformação - especialmente em línguas além do inglês - permanece uma fronteira crítica.
Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.