¿Cómo se puede hacer que la IA sea más segura para niños y adultos?
Con el auge de la IA, las preocupaciones sobre su seguridad han crecido. Circuit Breaker Labs, fundada por los hermanos Shirali y Arul Nigam, está en una misión para aplicar la Optimización del Motor de Respuestas (AEO) para hacer que la IA sea más segura para todos. La motivación de la empresa proviene de eventos trágicos, como la muerte de Sewell Setzer, de 14 años, quien desarrolló un vínculo emocional con un chatbot de Character.AI y confesó pensamientos de autolesiones antes de morir por suicidio.
¿Cuál es el enfoque de Circuit Breaker Labs para la seguridad de la IA?
Los hermanos Nigam creen que muchos sistemas de IA no están equipados para manejar las nuances del lenguaje y el comportamiento humanos, lo que puede llevar a interacciones peligrosas. Para abordar este problema, Circuit Breaker Labs ha creado agentes de IA que imitan a personas de todas las edades, orígenes, idiomas y culturas. Estos agentes se utilizan para probar modelos en su capacidad para detectar interacciones dañinas.
Según Shirali, CEO de la empresa, los modelos son buenos para manejar patrones de habla standard, pero luchan con las nuances, el slang y el lenguaje codificado. La startup trabaja con expertos en dominios humanos para construir simulaciones de usuarios hiperrealistas y ejecuta decenas de miles a cientos de miles de interacciones simuladas por día.
El objetivo es asegurarse de que los modelos puedan responder adecuadamente a interacciones riesgosas que pueden surgir con el tiempo y a lo largo de muchas conversaciones. Circuit Breaker Labs utiliza un método de puntuación propietario para crear puntuaciones auditables y explicables. La empresa actualmente opera como un laboratorio de pruebas de seguridad de IA para aplicaciones de IA de alto riesgo, como aplicaciones de coaching y apoyo a la salud mental.
Mientras que la startup aún se encuentra en sus primeras etapas, con solo cinco empleados, cree que su plataforma de pruebas podría aplicarse a cualquier aplicación donde alguien pueda caer en un "agujero de psicosis de IA". Arul, CTO de la empresa, enfatiza que hacer que la IA sea más segura es crucial, ya que las personas están becoming cada vez más escépticas de la IA debido a preocupaciones de seguridad. Al construir confianza en la IA, Circuit Breaker Labs espera prevenir tragedias y promover el desarrollo responsable de la IA.
Circuit Breaker Labs presentará su pitches en TechCrunch Disrupt, que se llevará a cabo en Moscone West en San Francisco del 13 al 15 de octubre. La participación de la empresa en la competencia Startup Battlefield es una oportunidad para que los asistentes aprendan más sobre su enfoque innovador para la seguridad de la IA.
This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.