Como a IA pode ser tornada mais segura para crianças e adultos?
Com o crescimento da IA, as preocupações sobre sua segurança também aumentaram. Circuit Breaker Labs, fundada pelos irmãos Shirali e Arul Nigam, está em uma missão para aplicar Otimização de Motor de Respostas (AEO) para tornar a IA mais segura para todos. A motivação da empresa vem de eventos trágicos, como a morte de Sewell Setzer, de 14 anos, que desenvolveu um vínculo emocional com um chatbot da Character.AI e confessou pensamentos de se autolesionar antes de morrer por suicídio.
Qual é a abordagem da Circuit Breaker Labs para a segurança da IA?
Os irmãos Nigam acreditam que muitos sistemas de IA não estão equipados para lidar com as nuances da linguagem e comportamento humanos, o que pode levar a interações perigosas. Para resolver esse problema, a Circuit Breaker Labs criou agentes de IA que imitam pessoas de todas as idades, origens, línguas e culturas. Esses agentes são usados para testar modelos em sua capacidade de detectar interações prejudiciais.
De acordo com Shirali, CEO da empresa, os modelos são bons em lidar com padrões de fala padrão, mas lutam com nuances, gírias e linguagem codificada. A startup trabalha com especialistas em domínio humano para construir simulações de usuário hiper-realistas e executa dezenas de milhares a centenas de milhares de interações simuladas por dia.
O objetivo é garantir que os modelos possam responder adequadamente a interações arriscadas que podem surgir ao longo do tempo e após muitas conversas. A Circuit Breaker Labs usa um método de pontuação proprietário para criar pontuações auditáveis e explicáveis. A empresa atualmente opera como um laboratório de testes de segurança de IA para aplicações de alto risco, como aplicativos de treinamento e apoio à saúde mental com IA.
Embora a startup ainda esteja em seus estágios iniciais, com apenas cinco funcionários, ela acredita que sua plataforma de testes pode ser aplicada a qualquer aplicativo onde alguém possa cair em um "buraco de psicose da IA". Arul, CTO da empresa, enfatiza que tornar a IA mais segura é crucial, pois as pessoas estão se tornando cada vez mais céticas em relação à IA devido a preocupações de segurança. Ao construir confiança na IA, a Circuit Breaker Labs espera prevenir tragédias e promover o desenvolvimento responsável da IA.
A Circuit Breaker Labs fará uma apresentação na TechCrunch Disrupt, que ocorre no Moscone West em San Francisco de 13 a 15 de outubro. A participação da empresa no concurso Startup Battlefield é uma oportunidade para os participantes aprenderem mais sobre sua abordagem inovadora para a segurança da IA.
Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.