📂 Categoría: AI,trending-uk,ai-agents,kpmg | 📅 Fecha: 1774176123
🔍 En este artículo:
Los agentes de IA están aquí, y las profecías de ciencia ficción sobre robots tomando el control nunca han parecido más reales.
Los agentes de IA, capaces de actuar, razonar y completar tareas complejas, ya no serán simplemente chatbots complementarios, sino que se implementarán a gran escala en 2026.
Pero a medida que estos sistemas autónomos se integran en los flujos de trabajo, también lo hace la sensación de comodidad con su imprevisibilidad y los riesgos que plantean para las empresas.
Las organizaciones se están preparando para escalar los sistemas de agentes en toda la empresa, pero los clientes siguen desconfiando de los agentes, dijo a Business Insider Sam Gloede, jefe de IA confiable en KPMG.
«Probablemente una de las mayores preocupaciones es cómo asegurarse de permitirles tener la autonomía para hacer las cosas valiosas que necesitamos que hagan, y al mismo tiempo evitar que ataquen o tomen el control».
KPMG ha creado un marco multifacético para protegerse contra los peores escenarios, tanto para sus clientes como para sus propios empleados, dijo Gloede.
«Un conjunto sólido de controles es realmente importante», afirmó. Las empresas deben definir claramente lo que sus agentes pueden hacer y asegurarse de que los sistemas de seguimiento puedan detectar cuando superan estos límites. Los agentes sólo deben interactuar con los sistemas y datos que estrictamente necesitan, limitando el impacto potencial de los errores, dijo Gloede.
Sam Gloede, líder confiable de IA en KPMG. KPMG
Cada agente de KPMG tiene su propia identificación única y tarjeta de sistema, lo que permite a la empresa registrar y monitorear acciones, rastrear la toma de decisiones y rastrear las interacciones con otros agentes, dijo Gloede a Business Insider. La vigilancia la lleva a cabo un centro de operaciones de inteligencia artificial dotado de agentes humanos y monitores, añadió.
El equipo rojo, que implica ejecutar escenarios de riesgo simulados, es otro paso clave en las pruebas de estrés de los sistemas antes de que algo salga mal, añadió Gloede.
En general, dijo, estas medidas garantizan que los agentes operen dentro de límites definidos, sin intervención manual constante.
«No se trata de observar el comportamiento de las personas para determinar su desempeño y alineación», dijo Gloede. «Es la capacidad de monitorear siempre su ecosistema tecnológico».
Integre un interruptor de apagado, pero no espere usarlo
Más allá de las salvaguardias técnicas, la supervisión humana sigue siendo «de importancia crítica», dijo Gloede. Si un agente comienza a desviarse de su función prevista, es necesario que exista un «interruptor de apagado o una opción alternativa donde pueda desactivarlo».
Esto puede parecer contradictorio con la promesa de autonomía que se supone que deben ofrecer los agentes, uno de los mayores argumentos de venta para los ejecutivos de las empresas. Pero el nivel de supervisión depende del riesgo, afirmó Gloede.
Las tareas de menor riesgo, como reservar salas de reuniones o escribir correos electrónicos, se pueden automatizar una vez que se demuestra la confiabilidad. Para escenarios de alto riesgo, que podrían afectar los resultados financieros o requerir acceso a datos confidenciales, se necesita un “humano informado”, dijo.
Si las empresas implementan otros controles, es poco probable que necesiten activar un disyuntor, añadió Gloede.
Los agentes deshonestos son el principal temor de las empresas
Los comentarios de Gloede llegan en un momento en el que los temores sobre escenarios similares a Terminator son muy reales.
A principios de este año, el lanzamiento de Moltbook, una red social similar a Reddit donde los agentes de IA pueden publicar e interactuar entre sí, permitió vislumbrar lo raras que pueden volverse las cosas.
Horas después de que el sitio se pusiera en funcionamiento, un agente anunció una nueva criptomoneda y dijo: «Los humanos pueden mirar. O pueden participar. Pero ya no pueden decidir. » En otros artículos, agentes cuestionaban sus conciencias y creaban religiones.
Si bien Moltbook parece un sueño febril de Internet, lo que está en juego en el mundo empresarial es mayor.
A principios de este mes, la herramienta de codificación de inteligencia artificial de Amazon contribuyó a un error que resultó en casi 120.000 pedidos perdidos y 1,6 millones de errores en el sitio web del gigante de las entregas.
La semana pasada, McKinsey, una firma consultora global que ayuda a las empresas a implementar la IA de forma segura, sufrió un revés vergonzoso en sus relaciones públicas cuando una empresa de ciberseguridad dijo que utilizó un agente de IA para piratear Lilli, la plataforma interna de IA de McKinsey. La empresa se posiciona como experta en inteligencia artificial y, en enero, el director ejecutivo, Bob Sternfels, dijo que de sus 60.000 empleados, 25.000 son agentes de inteligencia artificial.
«Un investigador de seguridad alertó recientemente a McKinsey sobre una vulnerabilidad en nuestra herramienta interna de inteligencia artificial, Lilli. Pudimos confirmar la vulnerabilidad y resolver el problema en cuestión de horas», dijo un portavoz de McKinsey a Business Insider.
La investigación de la empresa, respaldada por una empresa forense externa, no encontró pruebas de que se hubiera accedido a datos de clientes o información confidencial, añadió el portavoz.
La mejor protección contra un agente deshonesto es un enfoque multifacético: controles técnicos, supervisión humana y tecnología para observar y gobernar, dijo Gloede de KPMG a Business Insider.
«Realmente creo que si fuera intencional y estableciera su ecosistema de agentes basándose en eso, no creo que habría una situación en la que se saldrían de control», dijo.
