Una encuesta de IBM a 2.000 ejecutivos de nivel C encontró que solo el 11% se sienten completamente preparados para la implementación de agentes de inteligencia artificial, lo que destaca una creciente brecha de control a medida que el uso de la inteligencia artificial se expande en las empresas. La encuesta, realizada en 2026, reveló que dos tercios de los directores de informática y tecnología afirmaron ser responsables de sistemas de inteligencia artificial que no controlaban completamente, mientras que el 70% dijo que los equipos estaban implementando tecnología más rápido de lo que el departamento de informática podía seguir.
Madhuri Chandoor, fundadora de PromptHalo, una empresa de seguridad y confianza de infraestructura de inteligencia artificial, enfatiza la importancia de distinguir la capacidad de la autoridad en la implementación de agentes de inteligencia artificial. Ella argumenta que las organizaciones necesitan considerar el contexto y el impacto downstream de una acción antes de que un agente de inteligencia artificial proceda. Chandoor recomienda la creación de perfiles de comportamiento para los agentes de inteligencia artificial, similar a la monitorización de fraude financiero, para identificar posibles riesgos y asegurarse de que los agentes operen dentro de límites predeterminados.
Chandoor ilustra la preocupación con un ejemplo hipotético de un agente de inteligencia artificial que administra infraestructuras y que de manera autónoma agrega o elimina un índice o cambia estructuras de tabla en un entorno de producción, lo que podría afectar transacciones en vivo, datos de clientes o procesos dependientes. Ella también utiliza un escenario de reembolso para demostrar cómo un agente de inteligencia artificial puede emitir reembolsos de hasta $50 sin revisión humana, pero un usuario podría solicitar diez reembolsos de $50 en lugar de uno de $500 que requiere revisión, lo que destaca la necesidad de un contexto de sesión y revisión de comportamiento más amplio.
El enfoque de Chandoor implica documentar los recursos que un agente de inteligencia artificial puede acceder, las condiciones que se aplican a ese acceso y los posibles efectos downstream de acciones particulares. Ella también recomienda puertas de observabilidad para revisar la actividad, particularmente para inspeccionar y abordar cuando las solicitudes se vuelven repetidas, inusualmente amplias o inconsistentes con el propósito original asignado al agente.
Al adoptar un enfoque más matizado para la implementación de agentes de inteligencia artificial, las empresas pueden asegurarse de que estén utilizando la inteligencia artificial de manera responsable y verificando su comportamiento a lo largo del proceso. Como enfatiza Chandoor, establecer una propiedad de responsabilidad clara en las organizaciones para la seguridad de las aplicaciones de inteligencia artificial es esencial para operacionalizar estas barreras y perseguir la innovación de la inteligencia artificial mientras se da la atención necesaria a la seguridad y la responsabilidad.
Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.