Compliance algorítmico en empresas operadas por inteligencia artificial: nuevos riesgos y controles.

La incorporación de inteligencia artificial a las empresas está modificando algo más profundo que la manera en que se ejecutan determinadas tareas. También está cambiando la forma en que una organización toma decisiones, administra información, interactúa con terceros y controla sus propios procesos. En una empresa tradicional, buena parte de esas funciones se encuentra distribuida entre personas, departamentos y niveles jerárquicos. En una empresa que utiliza agentes de inteligencia artificial, en cambio, una parte creciente de esas actividades puede ser ejecutada por sistemas capaces de analizar información, tomar decisiones y realizar acciones de manera autónoma.

Esta transformación plantea una cuestión especialmente relevante para el compliance empresarial: ¿cómo debe funcionar un programa de cumplimiento cuando algunas de las decisiones de la organización son tomadas o ejecutadas por agentes de inteligencia artificial?

La respuesta no debería consistir en considerar a la inteligencia artificial como un problema que necesariamente debe ser restringido. Por el contrario, la incorporación de IA puede convertirse en una oportunidad para desarrollar sistemas de compliance más precisos, trazables y permanentes. La cuestión central consiste en diseñar los controles adecuados para una organización en la que ya no todas las decisiones son adoptadas directamente por personas.

Esto adquiere todavía mayor importancia cuando hablamos de Empresas Autónomas y Sociedades Automatizadas, es decir, organizaciones diseñadas desde su origen para utilizar inteligencia artificial y agentes autónomos como parte de su estructura operativa de negocios.

En este nuevo contexto aparece un concepto que probablemente adquirirá cada vez mayor importancia: el compliance algorítmico.

Del compliance tradicional al compliance algorítmico.

El compliance empresarial tradicional se construyó alrededor de una premisa bastante sencilla: las personas toman decisiones y la organización debe establecer políticas, controles y procedimientos para procurar que esas decisiones se ajusten a la legislación y a las reglas internas.

El art. 59 de la ley de Sociedades Comerciales 19.550 establece un concepto o un estándar para evaluar esto, y regula la responsabilidad del administrador y la diligencia que el mismo debe observar, prescribiendo que: “Los administradores y los representantes de la sociedad deben obrar con lealtad y con la diligencia de un buen hombre de negocios.

Una empresa puede tener políticas anticorrupción, procedimientos de contratación, controles financieros, mecanismos de prevención del lavado de activos, protocolos de protección de información y sistemas para detectar conflictos de intereses. En todos estos casos, el programa de compliance intenta reducir la posibilidad de que una persona, deliberadamente o por error, realice una conducta contraria a las normas aplicables.

Cuando una empresa incorpora agentes de inteligencia artificial, la situación comienza a cambiar.

El agente puede analizar información y recomendar una decisión, pero también puede llegar a ejecutar directamente una operación. Puede seleccionar un proveedor, generar una comunicación, clasificar una operación, iniciar un procedimiento o interactuar con otro sistema.

Por eso, el programa de compliance ya no puede concentrarse exclusivamente en controlar qué hacen las personas.

También debe comenzar a controlar qué pueden hacer los sistemas y bajo qué condiciones pueden hacerlo.

¿Qué es el compliance algorítmico?

Podemos utilizar la expresión compliance algorítmico para describir el conjunto de políticas, procedimientos, controles y mecanismos de supervisión destinados a garantizar que los sistemas algorítmicos y agentes de inteligencia artificial utilizados por una organización actúen dentro de los límites jurídicos, regulatorios y empresariales establecidos.

No se trata de crear un sistema paralelo al compliance tradicional.

Más bien, se trata de extender el programa de cumplimiento a una nueva realidad operativa.

En una Sociedad Automatizada, por ejemplo, podríamos tener un agente encargado de gestionar proveedores, otro dedicado a las ventas, un tercero que controle determinadas operaciones administrativas y diferentes sistemas que interactúen entre sí.

Cada uno de esos agentes puede tener capacidades diferentes y, por lo tanto, distintos niveles de riesgo.

El objetivo del compliance algorítmico será establecer una arquitectura que permita que esa autonomía funcione dentro de parámetros previamente definidos, justamente para reducir la posibilidad de que una agende de IA, deliberadamente o por error, realice una conducta contraria a las normas aplicables.

El primer control: definir qué puede hacer cada agente.

Uno de los principios más importantes de cualquier sistema de compliance aplicado a agentes de IA debería ser la delimitación de facultades.

Una empresa tradicional conoce las funciones de cada empleado o departamento. En una Sociedad Automatizada por IA, debería existir una lógica equivalente respecto de los agentes.

¿Qué puede hacer el agente?

¿Qué información puede consultar?

¿Con qué sistemas puede interactuar?

¿Puede enviar comunicaciones a terceros?

¿Puede celebrar contratos?

¿Puede realizar pagos?

¿Puede modificar precios?

¿Puede contratar proveedores?

¿Existe un límite económico para sus decisiones?

Estas preguntas no deberían quedar libradas exclusivamente al diseño técnico del sistema. También deberían formar parte de la arquitectura jurídica y de compliance algorítmico de la empresa.

Un agente encargado de atención al cliente probablemente tenga facultades muy diferentes de otro encargado de realizar operaciones financieras. Por eso, cada sistema debería contar con una matriz de facultades y restricciones acorde con su función.

Segregación de funciones en organizaciones autónomas.

La segregación de funciones es uno de los principios clásicos del control interno. Su objetivo es evitar que una misma persona concentre facultades suficientes para iniciar, aprobar y ejecutar una operación potencialmente riesgosa.

La llegada de agentes de IA no elimina este principio. Lo vuelve más interesante.

En una Empresa Autónoma es posible diseñar una verdadera segregación funcional entre agentes. Por ejemplo, un agente puede identificar una oportunidad comercial y preparar una operación, mientras que otro sistema verifica determinados parámetros y un tercero ejecuta la transacción cuando se cumplen las condiciones establecidas.

De esta manera, no necesariamente existe un único agente con capacidad ilimitada.

La propia arquitectura tecnológica puede incorporar una separación de competencias.

Esto permite pensar en un modelo de control en el que la segregación de funciones ya no se produce exclusivamente entre personas o departamentos, sino también entre diferentes sistemas y agentes.

Una organización correctamente diseñada podría, incluso, establecer que determinados agentes no tengan capacidad para modificar las reglas bajo las cuales operan otros agentes.

Los límites deben formar parte del sistema.

Una de las diferencias más importantes entre una Empresa Autónoma y una empresa tradicional consiste en que los controles no deberían depender únicamente de instrucciones posteriores.

En una organización tradicional, un empleado puede recibir una política interna que le indique que no puede realizar determinadas operaciones. En una Empresa Autónoma, en cambio, muchas de esas restricciones pueden incorporarse directamente a la arquitectura tecnológica.

Supongamos que un agente tiene autorización para contratar servicios hasta determinado importe.

El sistema podría estar diseñado para rechazar automáticamente operaciones que superen ese límite y derivarlas a una instancia de aprobación.

De esta manera, el compliance algorítmico deja de funcionar exclusivamente como una política que dice qué debe hacer una persona y comienza a funcionar también como una restricción incorporada al propio proceso operativo.

Esto puede resultar particularmente poderoso, ya que en lugar de esperar a detectar una infracción después de que ocurrió, determinados controles pueden actuar preventivamente y evitar que la operación sea ejecutada.

Trazabilidad: saber qué hizo la IA y por qué.

Uno de los elementos centrales del compliance algorítmico será la trazabilidad.

Cuando una persona toma una decisión, la organización puede eventualmente reconstruir quién la tomó, cuándo lo hizo y cuáles fueron las circunstancias. En una organización operada mediante agentes de IA, esa reconstrucción debe extenderse al comportamiento del sistema.

Una empresa automatizada por inteligencia artificial debería poder determinar, en la medida técnicamente posible, qué información utilizó un agente, qué instrucciones tenía, qué herramientas consultó y qué acción terminó ejecutando.

Esto resulta particularmente importante cuando la decisión genera consecuencias jurídicas o económicas relevantes.

La trazabilidad no debería verse únicamente como un mecanismo destinado a investigar errores o defenderse en un juicio. También puede convertirse en una herramienta de eficiencia, porque cuando una empresa puede observar sistemáticamente cómo funcionan sus agentes, puede identificar cuellos de botella, decisiones innecesarias, operaciones repetitivas y oportunidades de mejora.

Auditoría de agentes de inteligencia artificial.

En una empresa convencional, un auditor puede revisar documentos, contratos, registros contables, operaciones y decisiones tomadas por empleados o administradores.

En una sociedad automatizada operada por agentes de IA, será necesario agregar una nueva dimensión: auditar el comportamiento de los sistemas. Esto puede incluir la revisión de las instrucciones otorgadas al agente, los permisos de acceso, los parámetros utilizados, los registros de actividad y los resultados producidos.

En determinados casos también será necesario verificar si el agente está actuando de manera consistente con las políticas internas.

Por ejemplo, si una empresa tiene una política que prohíbe contratar determinados proveedores bajo determinadas circunstancias, el sistema de compliance algorítmico debería poder verificar que los agentes efectivamente respeten esa regla.

De esta manera, la auditoría deja de observar únicamente el resultado final y comienza también a examinar la arquitectura mediante la cual se produjo ese resultado.

¿Qué ocurre cuando la IA comete un error?

Debemos tener en cuenta que la posibilidad de error no desaparece porque una operación sea automatizada. Un agente puede interpretar incorrectamente información, utilizar datos incompletos, ejecutar una instrucción fuera del contexto previsto o producir una decisión que no sea conveniente para la organización.

Pero aquí también conviene adoptar una perspectiva constructiva. El objetivo del compliance algorítmico no debería ser conseguir que los agentes sean absolutamente infalibles. Ese objetivo probablemente sea imposible.

El objetivo debería ser construir una organización capaz de detectar, limitar y corregir rápidamente los errores.

Un agente puede tener límites económicos. Una operación extraordinaria puede requerir autorización. Determinadas actividades pueden quedar sujetas a revisión humana. Los sistemas pueden generar alertas cuando detectan comportamientos anómalos.

En definitiva, se trata de construir una arquitectura de defensa por capas, es decir, si un control falla, otro puede detectar la anomalía antes de que se transforme en un problema mayor.

Gestión de riesgos de IA

La utilización de agentes autónomos también introduce una nueva dimensión dentro de la gestión de riesgos empresariales: los riesgos algorítmicos.

Pero observemos que no todos los riesgos relacionados con IA son iguales, o mejor dicho, los riesgos tienen distintas potenciales consecuencias, desde consecuencias ínfimas a consecuencias catastróficos.

Puede existir un riesgo de error en la toma de decisiones, un riesgo relacionado con información incorrecta, un riesgo de seguridad, un riesgo de acceso indebido a datos, un riesgo contractual o incluso un riesgo derivado de que el agente interprete una instrucción de una manera diferente de la esperada.

Por ello, una Sociedad Automatizada debería desarrollar una metodología para identificar qué agentes tienen mayor capacidad de generar consecuencias relevantes, ya que un agente que prepara borradores internos probablemente tenga un nivel de riesgo diferente de otro que puede realizar transferencias bancarias o celebrar contratos.

Esto permite establecer una regla razonable: a mayor autonomía y mayor impacto potencial, mayor nivel de control.

El principio de proporcionalidad también funciona para la IA.

Uno de los errores que podría cometer una empresa al implementar compliance algorítmico sería establecer controles tan rígidos que terminaran anulando las ventajas de la automatización.

Si cada decisión tomada por un agente necesita ser aprobada manualmente por una persona, entonces quizá la organización no esté aprovechando realmente la autonomía que la tecnología permite.  El desafío consiste en encontrar un equilibrio.

Las operaciones rutinarias y de bajo riesgo pueden ejecutarse automáticamente, mientras que las operaciones extraordinarias o de alto impacto pueden requerir diferentes niveles de supervisión.

Esto permite diseñar una especie de sistema de autorización escalonada.

Un agente puede tener plena autonomía para operaciones ordinarias dentro de determinados parámetros, pero perder esa autonomía cuando se superan ciertos umbrales.

De esta forma, el compliance algorítmico se convierte en parte de la arquitectura de la Sociedad Automatizada, pero sin convertirse en un obstáculo para su funcionamiento y desarrollo diario.

Compliance preventivo frente a compliance reactivo.

La automatización de una empresa también permite fortalecer una de las ideas centrales del compliance moderno: la prevención.

Un modelo tradicional puede detectar una irregularidad después de que ocurrió, pero un sistema diseñado alrededor de agentes de IA puede incorporar controles preventivos de compliance directamente en el flujo de trabajo, impidiendo directamente que la irregularidad se produzca.

Por ejemplo, antes de que una operación sea ejecutada, el sistema puede verificar determinadas condiciones, consultar listas internas, comprobar límites económicos y analizar si existen señales que requieran una revisión adicional.

La ventaja es, a todas luces, evidente. El compliance algorítmico comienza a formar parte de cómo la empresa funciona.

La arquitectura de compliance algorítmico de una Sociedad Automatizada por IA.

Si tuviéramos que representar conceptualmente una arquitectura de compliance algorítmico para una Sociedad Automatizada, podríamos pensar en varios niveles.

En primer lugar, están las normas externas: leyes, regulaciones y obligaciones que la organización debe respetar.

Luego aparecen las políticas internas, que traducen esas obligaciones a reglas concretas para la empresa.

Sobre ellas se construyen las facultades de los agentes, determinando qué puede hacer cada sistema.

Después encontramos los controles automáticos, destinados a prevenir o detectar operaciones que se aparten de las reglas.

Finalmente, aparecen la supervisión, auditoría y revisión humana, necesarias especialmente frente a operaciones extraordinarias o situaciones que excedan los parámetros establecidos.

Esto permite comprender que el compliance algorítmico no consiste simplemente en «vigilar a la IA», sino que consiste en diseñar una organización en la que el cumplimiento normativo forme parte de su propia arquitectura operativa.

Compliance algorítmico y Sociedades Automatizadas por IA.

Las Sociedades Automatizadas operadas por IA plantean una nueva forma de organización empresarial en la que los agentes de inteligencia artificial pueden asumir una parte importante de la operación cotidiana.

Para que esa autonomía sea sostenible, será necesario desarrollar también una nueva arquitectura de control, y el compliance algorítmico es uno de sus componentes fundamentales.

No se trata de construir empresas paralizadas por controles, sino exactamente de lo contrario: empresas capaces de operar con un elevado grado de autonomía porque sus reglas, límites y mecanismos de supervisión están correctamente diseñados.

En ese sentido, el futuro del compliance será mucho más tecnológico de lo que hemos conocido hasta ahora.

La empresa del futuro podrá tener agentes que trabajen durante las 24 horas, sistemas que controlen permanentemente sus operaciones y mecanismos capaces de detectar anomalías antes de que se conviertan en problemas.

El desafío jurídico será diseñar las reglas que permitan que esa autonomía funcione y cumpla con la ley.