Los laboratorios de IA han construido su reputación sobre los benchmarks, es decir, los resultados de pruebas que supuestamente muestran si un modelo es mejor que otro. Sin embargo, los métodos detrás de esas pruebas son complejos y aún están en desarrollo, y la industria necesita hacerlos más consistentes antes de que alguien pueda confiar en ellos, according to Irene Solaiman, directora de políticas de Hugging Face. Ella habló en TechCrunch Disrupt la semana pasada.

¿Se pueden confiar en los resultados de los benchmarks de IA?

Entonces, ¿se pueden confiar en las pruebas que se publican hoy? Solaiman dijo que la palabra “confianza” tiene mucho peso. Para ella, una pregunta clave es si una evaluación puede reproducirse. ¿Tienen los investigadores externos el acceso que necesitan al modelo en sí? “Aquí es donde los pesos abiertos cobran una gran importancia”, afirmó.

¿Por qué es difícil la reproducibilidad en la evaluación de modelos de IA?

La reproducibilidad ha sido durante mucho tiempo uno de los problemas más espinosos en la evaluación de modelos, y sigue siendo tema de un intenso debate en toda la industria. Incluso cuando una sola prueba es sólida, surge una pregunta más difícil: ¿cómo se compara con otras evaluaciones? Solaiman dijo que el campo aún no ha llegado a ese punto. “Son una ciencia en evolución, en la que no sabemos cómo compararlas de manera significativa entre sí”, dijo.

Las pruebas también pierden utilidad rápidamente. “Empiezan a volverse ineficaces relativamente pronto, y no tenemos un ecosistema tan próspero como necesitamos”, dijo. “Hoy existe una gran demanda de un ecosistema de evaluadores integrados, pero las calificaciones que determinan quién es un evaluador efectivo en cada tarea necesitan mucha más estandarización”.

¿Qué es un evaluador de IA integrado?

La idea del evaluador integrado ha ganado terreno en los últimos meses. Bajo este modelo, observadores externos, que se supone que son neutrales, trabajan dentro de las organizaciones de IA. Este impulso ha coincidido con una serie de incidentes de seguridad que han generado preocupación por los posibles daños de la tecnología. La propia Hugging Face fue objetivo de uno de esos incidentes.

En lugar de impulsar una regulación gubernamental activa para identificar y reducir los riesgos de seguridad, muchos laboratorios han respaldado el enfoque de terceros. Persisten dudas sobre qué tan neutrales o efectivos serán esos evaluadores. La decisión de Anthropic de contratar a Accenture como su primer evaluador generó un fuerte rechazo, y algunos críticos se burlaron de la idea de que la firma de consultoría estuviera calificada para el trabajo.

La evaluación también está cambiando en alcance. Las pruebas están yendo más allá del modelo por sí solo para abarcar todo el sistema construido a su alrededor, incluido el arnés (harness) y el agente. El arnés es la herramienta que un usuario utiliza para acceder al modelo, y puede influir mucho en el rendimiento. Solaiman dijo que un modelo más débil combinado con un mejor arnés podría superar fácilmente a un modelo de frontera.

Este cambio crea sus propios problemas. “Las evaluaciones de agentes son realmente difíciles y realmente costosas”, dijo Solaiman. “Tenemos más evaluaciones para los modelos. … No tenemos tantas evaluaciones para los arneses, y estamos desarrollando mejores evaluaciones para el agente en su conjunto, porque eso es lo que mucha gente está aprovechando”, agregó.

Por ahora, el espacio de evaluación está en gran medida sin regulación en la práctica, y cada grupo establece su propio enfoque. Si los benchmarks van a seguir siendo útiles para los líderes de la industria, el campo probablemente necesitará un enfoque más uniforme y de alcance industrial, en el que todos trabajen con el mismo manual.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.