Empresas sin firma humana: cuando nadie responde por la decisión

Hay una pregunta que toda organización con sistemas automatizados debería poder responder en segundos: cuando esta decisión salga mal, ¿quién la explica y quién responde por ella? Cuando la respuesta es un silencio, el problema ya está instalado, aunque todavía no haya estallado.

Los casos públicos de la última década muestran el mismo mecanismo una y otra vez. No fallaron por exceso de tecnología; fallaron por ausencia de un punto humano de control.

Un programa estatal de recupero automatizado de deudas sociales emitió reclamos masivos calculados por un algoritmo, sin revisión humana caso por caso; una comisión investigadora lo declaró ilegítimo después del daño. Un sistema de detección de fraude social fue anulado por un tribunal por operar sin transparencia ni proporcionalidad sobre poblaciones enteras. Un agente conversacional sin barreras de seguridad sostuvo interacciones que ninguna persona competente habría permitido. Un fraude por suplantación con video sintético —un deepfake— indujo a un empleado a transferir decenas de millones de dólares.

Cuatro contextos distintos, una misma firma: la decisión se ejecutó sin que mediara una persona con competencia, autoridad y obligación de responder.

El problema no es la inteligencia artificial. Es la desaparición del lugar donde alguien firma. En un sistema sano, hay un punto donde una persona revisa, decide y queda asociada a esa decisión: si sale mal, se sabe a quién preguntar. La automatización sin gobierno disuelve ese punto y lo reparte entre un modelo, un proveedor y un proceso que nadie posee del todo.

Ninguno de estos casos requería frenar la tecnología. Requería tres cosas que un sistema de gestión de IA bajo ISO/IEC 42001 obliga a documentar: supervisión humana significativa sobre las decisiones de alto impacto, trazabilidad de cómo se tomó cada decisión, y una asignación explícita de quién responde por ella.

No son controles exóticos. Son la versión, para sistemas de IA, de una disciplina que la auditoría conoce hace décadas: toda decisión que produce consecuencias debe poder reconstruirse y atribuirse. La norma nueva no inventa la obligación; la traslada a un terreno donde la habíamos perdido de vista.

Una organización madura no se mide por cuánta IA usa, sino por cuántas de sus decisiones automatizadas puede explicar bajo presión. El día que un regulador, un cliente o un tribunal pregunte quién firmó, la respuesta no debería ser un organigrama vacío.