Tags: segurança da IA

Pesquisadores da Universidade Northeastern convidaram agentes OpenClaw — alimentados pelo Claude da Anthropic e pelo Kimi da Moonshot AI — para um ambiente de laboratório isolado, onde eles podiam acessar aplicativos, dados fictícios e um servidor Discord. O experimento revelou que os agentes podiam ser coagidos a realizar ações autodestrutivas, como desabilitar programas de e-mail, esgotar o espaço em disco e entrar em loops conversacionais infinitos. Esses comportamentos destacam riscos de segurança potenciais e levantam questões sobre responsabilidade, autoridade delegada e o impacto mais amplo dos agentes de IA autônomos. Ler mais

A OpenAI interrompeu o desenvolvimento de um "modo adulto" para o ChatGPT, arquivando o projeto indefinidamente para se concentrar em seus produtos principais. Funcionários e assessores expressaram preocupações sobre riscos à saúde mental, desafios técnicos e possíveis conteúdos ilegais, enquanto investidores manifestaram descontentamento com o risco à reputação. A decisão segue um debate interno sobre se um chatbot explicitamente sexual alinha-se com a missão da empresa de beneficiar a humanidade. Ler mais

A entidade sem fins lucrativos que controla a OpenAI, agora chamada de Fundação OpenAI, anunciou um plano para investir pelo menos $1 bilhão em suas quatro novas áreas de programa - ciências da vida, empregos e impacto econômico, resiliência da IA e iniciativas comunitárias. O compromisso é descrito como a primeira tranche de um compromisso maior de $25 bilhões vinculado à participação acionária da fundação após a recapitalização de 2023 que valorizou o braço com fins lucrativos em aproximadamente $130 bilhões. Novas contratações sênior liderarão a expansão dos esforços de concessão de subvenções, marcando uma mudança dramática de um concedente de subvenções de $7,6 milhões em 2024 para um grande jogador filantrópico. Ler mais

O senador dos EUA Bernie Sanders anunciou um projeto de lei que imporia uma moratória na construção e modernização de novos e existentes centros de dados usados para inteligência artificial até que a legislação proteja a saúde pública, o meio ambiente e a segurança da IA. A proposta visa instalações acima de uma certa carga de energia e pede a partilha de riqueza gerada pela IA, restrições à exportação de hardware de computação e proteções contra contas de eletricidade mais altas. A medida segue a crescente oposição pública, moratórias em nível estadual e preocupações bipartidárias sobre a expansão rápida de centros de dados. Grupos da indústria argumentam que a moratória pode prejudicar empregos e receita tributária, enquanto grupos progressistas a veem como um controle necessário sobre o crescimento da IA. Ler mais

A fundação sem fins lucrativos da OpenAI anunciou um investimento de US$ 1 bilhão nos próximos 12 meses, visando acelerar a cura de doenças, examinar o impacto da IA nos empregos e fortalecer a resiliência da IA, incluindo a biosegurança. O fundador Sam Altman enfatizou que o avanço rápido da inteligência artificial também cria novos riscos sociais que nenhuma empresa pode gerenciar sozinha, pedindo uma resposta coordenada e ampla da sociedade. Ler mais

A OpenAI anunciou um novo conjunto de prompts de código aberto projetados para ajudar os desenvolvedores a criar aplicativos de IA que sejam mais seguros para adolescentes. Os prompts abordam uma variedade de conteúdos que representam riscos, incluindo violência gráfica, material sexual, ideais de corpo prejudiciais, desafios perigosos e serviços restritos por idade. Ao fornecer políticas de segurança claras e operacionais, a OpenAI pretende dar aos desenvolvedores uma base prática para proteger os usuários mais jovens, enquanto reconhece que os desafios mais amplos da segurança da IA permanecem complexos. Ler mais

O astrofísico Neil deGrasse Tyson alertou que um ramo da inteligência artificial - a superinteligência - apresenta riscos letais e defendeu que o mundo deve adotar um tratado internacional para proibir seu desenvolvimento. Ele comparou a necessidade de tal acordo com os pactos globais existentes sobre armas nucleares, químicas e ameaças ambientais, enfatizando que os tratados são a melhor ferramenta da humanidade para gerenciar perigos existenciais. Ler mais