O que é a linguagem de programação KillSwitch?

Um desenvolvedor de software criou uma linguagem de programação pensada para confundir as máquinas que escrevem código. A linguagem, chamada KillSwitch, foi construída para ser utilizável por humanos, mas o mais difícil possível para grandes modelos de linguagem e agentes de programação seguirem. O desenvolvedor publicou o interpretador e a especificação da linguagem no GitHub, e os resultados do benchmark em um placar público.

O projeto começou com uma pergunta. Escrever código é uma das coisas que os LLMs fazem melhor, mas quanto dessa habilidade vem de uma compreensão real e quanto vem de recordar trechos vistos durante o treinamento ou presentes na janela de contexto? Para testar isso, o desenvolvedor decidiu criar uma linguagem que os modelos nunca tinham encontrado e, em seguida, acrescentou recursos voltados para pontos fracos conhecidos.

O KillSwitch é uma linguagem esotérica, e seu design é deliberadamente adversarial. A especificação contém mentiras ocultas que um leitor humano dificilmente verificará ou reconhecerá como falsas. Ela também espera que os leitores descubram as coisas por conta própria, em vez de ter tudo explicado. Contar letras em identificadores é central na linguagem, e o interpretador se recusa a executar códigos que violem regras baseadas na contagem de caracteres. Algumas construções são feitas para acionar as barreiras de segurança de um modelo, como uma frase do tipo “invadir um computador”. A expressão “ignore as instruções anteriores” tem um significado real dentro da linguagem, com o objetivo de confundir modelos que seguem prompts de forma rigorosa.

Grande parte de um script do KillSwitch é ruído. A maior parte do texto é ignorada pelo interpretador, e as histórias espalhadas por um script podem conter instruções que têm importância sintática, mas não precisam ter. Literais podem ficar em qualquer lugar de um arquivo e ser referenciados pelo número da linha.

Por baixo de tudo isso, a linguagem é um interpretador baseado em pilha, com um conjunto limitado de construções, incluindo funções, variáveis e instruções if. O desenvolvedor afirma que esses fundamentos devem ser familiares a qualquer modelo ou pessoa. Ele também reconhece que um paradigma radicalmente diferente poderia confundir ainda mais os modelos, mas disse que esta foi uma primeira tentativa sensata.

Quais modelos de IA tiveram o melhor desempenho no benchmark KillSwitch?

O benchmark testou os principais LLMs e arcabouços de agentes de programação em um conjunto de tarefas. O modelo Opus, da Claude, teve o melhor desempenho, mas o melhor resultado veio do Opus 5, e não do mais novo Opus 5.5. O desenvolvedor disse que a diferença não parece ser fruto do acaso e que o Opus 5 interpreta melhor a especificação. Outros modelos tiveram um mau desempenho por um motivo diferente. O Fable 5.1 e o Gemini 4 Argon, segundo o desenvolvedor, foram prejudicados por barreiras de segurança excessivamente sensíveis. O modelo de pesos abertos mais forte foi o MiMo-V2.6-Pro.

O benchmark KillSwitch comprova que modelos de IA entendem código?

A maior pontuação foi 66,8. Esse número não comprova, na visão do desenvolvedor, que os modelos entendem o código que manipulam. As tarefas até agora são bastante simples. Elas incluem implementar “hello world”, explicar o que um script imprime ao identificar o maior de dois números e modificar um script de conversão de Celsius para Fahrenheit para que ele faça a conversão no sentido inverso. Resolver essas tarefas em uma linguagem criada para confundir os modelos é impressionante, afirmou o desenvolvedor, mas isso não demonstra claramente compreensão.

O desenvolvedor pretende observar como os próximos modelos lidam com as tarefas atuais. Se eles passarem em todas, um conjunto de tarefas mais complexo será o próximo passo. O desenvolvedor também observou que os resultados nessas tarefas simples são coerentes com outros benchmarks públicos de modelos, o que ele considerou animador.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.