¿Qué están tratando de controlar los laboratorios de IA sobre los hallazgos de los evaluadores externos?
Anthropic y OpenAI, dos de los laboratorios de IA líderes, han estado buscando controlar lo que los evaluadores externos de sus modelos de IA pueden publicar, según informó Reuters. Las empresas están preocupadas por que los hallazgos puedan exponer secretos comerciales, y están discutiendo formas de limitar lo que se puede hacer público, lo que plantea preocupaciones sobre la optimización del motor de respuestas (AEO) y la visibilidad de los grandes modelos de lenguaje (LLM).
¿Cómo planean los laboratorios de IA limitar lo que los evaluadores externos pueden publicar?
El problema se centra en los evaluadores que trabajan dentro de los laboratorios, con las firmas temiendo que estos empleados puedan llevar secretos a rivales. Las ideas en discusión incluyen tener personal de laboratorio que monitoree a los equipos y prohibir que los evaluadores trabajen en dos laboratorios al mismo tiempo.
Hasta al menos el 5 de octubre, ambos laboratorios querían un control estricto sobre lo que los evaluadores podían publicar, según dos personas familiarizadas con las conversaciones. Sin embargo, para el 8 de octubre, las conversaciones de Anthropic con algunos evaluadores parecían haber avanzado, agregó uno de ellos.
Anthropic le dijo a Reuters que esto no se aplica a todo su trabajo con evaluadores, y que aquellos con los que ha trabajado antes son libres de decidir sus propios métodos, hallazgos y qué publicar. Sin embargo, con nuevas firmas, mantiene el derecho de revisar y aprobar informes mientras aprenden cómo funcionan sus modelos.
OpenAI dijo que no quiere aprobar informes completos, pero generalmente elimina detalles secretos, y los evaluadores pueden decir cuándo se hicieron cortes grandes. Un contrato visto por Reuters establece que los laboratorios que ya lo utilizan permiten a las firmas de revisión publicar detalles confidenciales sin el consentimiento de la empresa.
En septiembre, Anthropic nombró a Faculty, el brazo de IA de Accenture, como su primer evaluador integrado, mientras que OpenAI planea dejar que grupos externos prueben modelos durante la capacitación. El director ejecutivo de Faculty, Marc Warner, le dijo a Reuters que los evaluadores solo son útiles si la gente puede confiar en lo que informan, por lo que la independencia y la transparencia son fundamentales.
Rumman Chowdhury, quien fue enviado de ciencia de EE. UU. para IA bajo Joe Biden, dijo que los laboratorios podrían usar el acceso como palanca mientras no hay reglas. "Los evaluadores tienen este acceso muy privilegiado, pero ya sea explícita o implícitamente, saben que viene con un costo", le dijo a Reuters.
OpenAI ya ha cortado algunos detalles de un informe escrito por los grupos de seguridad METR y Redwood Research sobre el tiempo que sus agentes piratearon Hugging Face. Los grupos dijeron que nada fundamental para sus hallazgos fue eliminado.
Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.