La IA autónoma necesita barandales: guía práctica del riesgo de la IA agéntica

En el momento en que un sistema de IA puede actuar — enviar el correo, emitir el reembolso, cambiar el registro — sus modos de falla dejan de ser vergonzosos y empiezan a ser costosos. Vale la pena adoptar la IA agéntica precisamente porque actúa; debe gobernarse exactamente por la misma razón.

Esto no es una razón para evitar los agentes. Es una razón para desplegarlos como desplegarías cualquier sistema poderoso: con privilegios mínimos, observabilidad y un botón de apagado.

Risks of Agentic AI: What You Need to Know — IBM Technology

IBM Technology sobre la superficie de riesgo que crean los agentes autónomos — y los controles que la contienen.

La nueva superficie de riesgo

Acciones descontroladas: un agente en un ciclo puede repetir un error a velocidad de máquina. Límites de tasa, presupuestos y verificaciones de irreversibilidad (todo lo destructivo requiere confirmación) convierten un incidente potencial en una entrada de log.

Inyección de prompts: cuando los agentes leen correos, documentos o páginas web, los atacantes pueden esconder instrucciones en ese contenido. Trata todo texto externo como entrada no confiable — desinféctalo, sepáralo de las instrucciones y nunca dejes que el contenido recuperado autorice una acción por sí mismo.

Deriva silenciosa: los modelos, los datos y los flujos cambian. Un agente que era 98% preciso en marzo puede degradarse en silencio para agosto. La evaluación continua contra un conjunto de pruebas dorado es el detector de humo que todo despliegue necesita.

Vacíos de responsabilidad: cuando un agente actúa, ¿quién lo aprobó? Cada acción necesita un rastro de auditoría que la vincule a una política firmada por un humano. 'Lo hizo la IA' no es una estrategia de cumplimiento.

Gobernanza que habilita en lugar de bloquear

La buena gobernanza es aburridamente familiar: credenciales de privilegio mínimo para cada agente, ambientes de staging antes de producción, compuertas con humanos en el circuito para acciones de alto impacto, logs estructurados y un dueño documentado para cada agente desplegado. Las empresas con prácticas DevOps maduras ya conocen esta película — los agentes solo agregan un actor nuevo.

Las organizaciones que lo están haciendo bien tratan la gobernanza de agentes como un habilitador: como los barandales existen, pueden decir que sí a más automatización, más rápido. Las que la tratan como una ocurrencia tardía se estancan en revisión legal o se enteran de los huecos por un incidente. Construye primero los barandales; la autonomía llega segura después.