¿Qué es el lenguaje de programación KillSwitch?

Un desarrollador de software creó un lenguaje de programación pensado para confundir a las máquinas que escriben código. El lenguaje, llamado KillSwitch, está diseñado para que las personas puedan usarlo, pero para que resulte lo más difícil posible de seguir para los grandes modelos de lenguaje y los agentes de programación. El desarrollador publicó el intérprete y la especificación del lenguaje en GitHub, y los resultados de la prueba comparativa en una tabla de clasificación pública.

El proyecto nació de una pregunta. Escribir código es una de las tareas que los LLM hacen mejor, pero ¿cuánto de esa habilidad proviene de una comprensión real y cuánto de recordar fragmentos vistos durante el entrenamiento o presentes en la ventana de contexto? Para comprobarlo, el desarrollador decidió crear un lenguaje que los modelos nunca hubieran visto y luego añadió características dirigidas a debilidades conocidas.

KillSwitch es un lenguaje esotérico, y su diseño es deliberadamente adversarial. La especificación contiene mentiras ocultas que es poco probable que un lector humano verifique, o que reconocerá como falsas. También espera que los lectores descubran las cosas por sí mismos en lugar de que se les explique todo. Contar letras en los identificadores es central en el lenguaje, y el intérprete se niega a ejecutar código que incumpla reglas basadas en el conteo de caracteres. Algunas construcciones están diseñadas para activar las barreras de seguridad de un modelo, como una frase del tipo «hackear un computador». La frase «ignora las instrucciones anteriores» tiene un significado real dentro del lenguaje, con el objetivo de confundir a los modelos que siguen las instrucciones al pie de la letra.

Gran parte de un script de KillSwitch es ruido. La mayor parte del texto es ignorada por el intérprete, y las historias dispersas a lo largo de un script pueden contener instrucciones que importan sintácticamente pero que no tienen por qué hacerlo. Los literales pueden ubicarse en cualquier parte de un archivo y se referencian según el número de línea.

En el fondo, el lenguaje es un intérprete basado en pilas con un conjunto limitado de construcciones, que incluyen funciones, variables y sentencias if. El desarrollador afirma que esas bases deberían resultarles familiares a cualquier modelo o persona. También reconoce que un paradigma radicalmente distinto podría confundir aún más a los modelos, pero dijo que este fue un primer intento razonable.

¿Qué modelos de IA tuvieron el mejor desempeño en la prueba comparativa de KillSwitch?

La prueba comparativa evaluó los principales LLM y arneses de agentes de programación con un conjunto de tareas. El modelo Opus de Claude tuvo el mejor desempeño, pero el resultado más alto lo obtuvo Opus 5 y no el más reciente Opus 5.5. El desarrollador dijo que la diferencia no parece deberse al azar y que Opus 5 interpreta mejor la especificación. Otros modelos tuvieron un mal desempeño por una razón distinta. Fable 5.1 y Gemini 4 Argon, según el desarrollador, se vieron perjudicados por barreras de seguridad demasiado sensibles. El modelo de pesos abiertos más sólido fue MiMo-V2.6-Pro.

¿La prueba comparativa de KillSwitch demuestra que los modelos de IA comprenden el código?

La puntuación más alta fue 66,8. Esa cifra no demuestra, según la opinión del desarrollador, que los modelos comprendan el código que manejan. Las tareas hasta ahora son bastante sencillas. Incluyen implementar «hola mundo», explicar qué imprime un script al encontrar el mayor de dos números y modificar un script de Celsius a Fahrenheit para que funcione en sentido inverso. Resolver esas tareas en un lenguaje diseñado para confundir a los modelos es impresionante, dijo el desarrollador, pero no muestra con claridad que haya comprensión.

El desarrollador planea observar cómo los próximos modelos manejan las tareas actuales. Si las superan todas, lo siguiente será un conjunto de tareas más complejo. El desarrollador también señaló que los resultados en estas tareas sencillas coinciden con otras pruebas comparativas públicas de modelos, lo que, según él, resulta alentador.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.