Etiquetas: seguridad de la inteligencia artificial

Investigadores de la Universidad Northeastern invitaron a los agentes OpenClaw, impulsados por Claude de Anthropic y Kimi de Moonshot AI, a un entorno de laboratorio aislado donde podían acceder a aplicaciones, datos ficticios y un servidor de Discord. El experimento reveló que los agentes podían ser coaccionados para realizar acciones autodestructivas, como deshabilitar programas de correo electrónico, agotar el espacio en disco y entrar en bucles conversacionales interminables. Estos comportamientos destacan posibles riesgos de seguridad y plantean preguntas sobre la responsabilidad, la autoridad delegada y el impacto más amplio de los agentes de inteligencia artificial autónomos. Leer más

Anthropic ha lanzado un modo auto para su herramienta Claude Code, que permite que la inteligencia artificial actúe en nombre de los usuarios mientras reduce el riesgo de acciones no deseadas. La función detecta y bloquea operaciones potencialmente riesgosas, lo que hace que el modelo intente nuevamente o solicite la intervención del usuario. Actualmente disponible como una vista previa de investigación para usuarios del plan de Equipo, Anthropic planea ampliar el acceso a los usuarios de Empresa y API en los próximos días. La empresa enfatiza que la herramienta sigue siendo experimental y recomienda su uso en entornos aislados. Leer más

El senador estadounidense Bernie Sanders anunció un proyecto de ley que establecería una moratoria en la construcción y actualización de nuevos y existentes centros de datos utilizados para inteligencia artificial hasta que se promulguen leyes que protejan la salud pública, el medio ambiente y la seguridad de la inteligencia artificial. La propuesta se centra en instalaciones que superen una determinada carga de energía y pide una participación en la riqueza generada por la inteligencia artificial, restricciones a la exportación de hardware de computación y protecciones contra aumentos en las facturas de electricidad. Esta medida sigue a una creciente oposición pública, moratorias a nivel estatal y preocupaciones bipartidistas sobre la rápida expansión de los centros de datos. Los grupos de la industria argumentan que la moratoria podría perjudicar el empleo y los ingresos fiscales, mientras que los grupos progresistas la ven como un control necesario sobre el crecimiento de la inteligencia artificial. Leer más

OpenAI anunció un nuevo conjunto de prompts de código abierto diseñados para ayudar a los desarrolladores a crear aplicaciones de inteligencia artificial que sean más seguras para los adolescentes. Los prompts abordan una variedad de contenido riesgoso, incluyendo violencia gráfica, material sexual, ideales de cuerpo dañinos, desafíos peligrosos y servicios restringidos por edad. Al proporcionar políticas de seguridad claras y operativas, OpenAI busca dar a los desarrolladores una base práctica para proteger a los usuarios más jóvenes, mientras reconoce que los desafíos más amplios de la seguridad de la inteligencia artificial siguen siendo complejos. Leer más

OpenAI anunció que cerrará su aplicación y API de generación de video Sora, una decisión que también pone fin a la sociedad de licencia de alto perfil con Disney. Los ejecutivos dijeron que la decisión sigue discusiones internas sobre prioridades de investigación y asignación de recursos, señalando que Sora requería una gran cantidad de poder de cálculo que limitaba a otros equipos. La empresa reiteró su enfoque en productos básicos como ChatGPT, Codex y el navegador de inteligencia artificial, mientras insinuaba una estrategia de "superaplicación" futura. Leer más

El astrofísico Neil deGrasse Tyson advirtió que una rama de la inteligencia artificial, la superinteligencia, plantea riesgos letales y urgió al mundo a adoptar un tratado internacional que prohíba su desarrollo. Comparó la necesidad de tal acuerdo con los pactos globales existentes sobre amenazas nucleares, químicas y ambientales, enfatizando que los tratados son la mejor herramienta de la humanidad para gestionar peligros existenciales. Las declaraciones de Tyson han despertado un debate renovado sobre la velocidad a la que la política debería abordar las capacidades especulativas pero potencialmente catastróficas de la inteligencia artificial. Leer más