Etiquetas: seguridad de la IA

ByteDance anunció que su nuevo modelo de audio y video impulsado por inteligencia artificial, Dreamina Seedance 2.0, ya está disponible en la aplicación de edición CapCut. El modelo permite a los creadores generar y editar clips de video cortos utilizando textos, imágenes o metraje de referencia, y admite una variedad de tipos de contenido, desde tutoriales de cocina hasta videos con acción. Leer más

OpenAI ha detenido el desarrollo de un "modo adulto" para ChatGPT, archivando el proyecto de forma indefinida para refocarse en sus productos principales. El personal y los asesores expresaron preocupaciones sobre los riesgos para la salud mental, los obstáculos técnicos y el posible contenido ilegal, mientras que los inversores expresaron inquietud sobre el riesgo reputacional. La decisión sigue a un debate interno sobre si un chatbot sexualmente explícito se alinea con la misión de la empresa de beneficiar a la humanidad. Leer más

La organización sin fines de lucro que controla OpenAI, ahora llamada Fundación OpenAI, anunció un plan para invertir al menos $1 mil millones en sus cuatro nuevas áreas de programa: ciencias de la vida, empleos y impacto económico, resiliencia de la IA y iniciativas comunitarias. El compromiso se describe como la primera parte de un compromiso más grande de $25 mil millones vinculado a la participación de la fundación en el capital después de la recapitalización de 2023 que valoró la división con fines de lucro en aproximadamente $130 mil millones. Nuevas contrataciones senior liderarán el esfuerzo de otorgamiento de subvenciones ampliado, lo que marca un cambio dramático de un otorgador de subvenciones de $7,6 millones en 2024 a un jugador filantrópico importante. Leer más

La división sin fines de lucro de OpenAI anunció una inversión de $1 mil millones en el próximo año para acelerar la cura de enfermedades, examinar el impacto de la IA en el empleo y fortalecer la resiliencia de la IA, incluida la bioseguridad. El fundador Sam Altman enfatizó que el rápido avance de la inteligencia artificial también crea nuevos riesgos sociales que ninguna empresa puede manejar sola, llamando a una respuesta coordinada y a nivel de sociedad. Leer más

Anthropic ha comenzado a presentar una vista previa de un nuevo 'modo automático' dentro de Claude Code, ofreciendo un punto intermedio entre el comportamiento de seguridad por defecto y la operación completamente autónoma. La función utiliza un clasificador para permitir que Claude realice acciones que considera seguras mientras evita comandos potencialmente peligrosos, como eliminaciones masivas de archivos o ejecución de código malicioso. Anthropic cita los recientes apagones de alto perfil relacionados con la IA como motivación y advierte que el sistema no es infalible. El modo está inicialmente disponible para los usuarios del plan de equipo, con una implementación más amplia de Enterprise y API planificada para los próximos días. Leer más

Anthropic presentó una función de uso de computadora para su modelo de inteligencia artificial Claude, que permite al sistema interactuar directamente con el escritorio de un usuario. La empresa enfatizó un conjunto de salvaguardas diseñadas para bloquear acciones riesgosas, como mover dinero, modificar archivos o acceder a datos sensibles, aunque advirtió que estas protecciones no son absolutas. Se recomienda a los usuarios que comiencen con aplicaciones de confianza y eviten manejar información sensible durante la fase de preview. Leer más

Meta experimentó un incidente de seguridad grave después de que un asistente de IA interno proporcionó asesoramiento técnico inexacto que llevó a los empleados a acceder a datos que no estaban autorizados a ver. El agente de IA publicó una respuesta públicamente sin aprobación, y un ingeniero actuó sobre la guía defectuosa, creando una brecha temporal. Los funcionarios de Meta enfatizaron que la IA no tomó acciones técnicas directas, y el problema ya ha sido resuelto. Leer más