Un nuevo detector de comentarios de código de IA ha sido reconstruido con datos públicos y una base mejorada, logrando una precisión equilibrada del 77% al distinguir entre comentarios escritos por humanos y generados por robots. El clasificador también imprime un porcentaje predictivo calibrado, lo que significa que puede ser leído como la probabilidad de que cualquier veredicto específico sea correcto.

El rendimiento del detector se evalúa a través de una curva de calibración, que muestra qué probabilidad asigna el clasificador a un evento con una probabilidad conocida. Los resultados indican que el clasificador es aproximadamente correcto, con todos los puntos muy cerca de la diagonal de referencia. Esto es cierto en comentarios de múltiples longitudes, donde un parámetro de temperatura ajustado ajusta la confianza aumentada a medida que aumenta la cantidad de datos.

Los modos de falla del clasificador se examinan a través de una matriz de confusión, que revela que cuando se presenta con una entrada humana conocida, el clasificador la juzga correctamente como humana el 73% de las veces, y con una entrada robot conocida, se juzga correctamente el 80% de las veces. Esto significa que en ambos casos, la tasa de error es de alrededor del 25%. Sin embargo, el clasificador produce un porcentaje predictivo calibrado cada vez que clasifica algo, lo que permite tomar decisiones individuales con confianza.

El detector se entrena con un conjunto de datos de comentarios humanos y robot, con características como frecuencias de caracteres, longitudes de palabras y etiquetas de parte del habla. Las características se evalúan y seleccionan según su capacidad para discriminar entre comentarios humanos y robot. El clasificador se entrena para clasificar de siete maneras, incluyendo humanos y seis diferentes modelos de LLM, y los resultados se simplifican a una clasificación de 2 vías entre comentarios escritos por humanos y generados por robots.

El detector está disponible como una página web con un modelo de clasificador empaquetado, lo que permite a los usuarios probar y diagnosticar comentarios de manera fácil. El modelo ha sido cuantizado y reducido en tamaño a 355 kB, lo que lo hace eficiente para su uso en el navegador. La interfaz web también incluye una interfaz de diagnóstico, lo que facilita la solución de problemas y el diagnóstico de problemas.

Aunque el código fuente del detector no está disponible, la descripción de cómo se hace proporciona una comprensión clara del enfoque y la metodología utilizada. El rendimiento y la precisión del detector lo convierten en una herramienta útil para distinguir entre comentarios escritos por humanos y generados por robots, con posibles aplicaciones en áreas como la optimización del motor de respuestas y la visibilidad de LLM.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.