Cómo realizar evaluaciones de riesgos de IA según ISO 42001

Las evaluaciones de riesgos de IA se recogen en la cláusula 6.1.2 de la norma ISO 42001, publicada al final del año 2023. Este estándar es el primero en integrar directrices, controles y requisitos para evaluar y abordar los riesgos de la Inteligencia Artificial de forma eficaz, segura, transparente y ética.

Una norma asociada, ISO 23894, se ocupa de las evaluaciones de riesgos de IA. Quizá por ello, la mencionada cláusula 6.1.2. de ISO 42001 no entrega una guía detallada sobre la forma de desarrollar estas evaluaciones. Solicita a las organizaciones diseñar e implementar procesos para ejecutar las evaluaciones de riesgos de IA, pero no indica cómo hacerlo.

Una solución es, por supuesto, implementar ISO 23894. Pero, para aquellas organizaciones que no quieran extender a tal nivel el árbol de gestión con normas ISO, la siguiente guía resultará de gran utilidad.

Cómo realizar evaluaciones de riesgos de IA de acuerdo con ISO 42001

No es necesario implementar ISO 23894 para aprovechar su contenido. Una de las consultas que bien vale la pena hacer en esta norma, antes de iniciar las evaluaciones de riesgos de IA, es el capítulo relacionado con las fuentes de riesgos de IA, entre las que se pueden destacar:

• Falta de transparencia.
• Incapacidad para rendir cuentas.
• Entornos complejos.
• Privacidad de datos.
• Problemas con el hardware.
• Sesgos en el entrenamiento.
• Problemas que surgen en el ciclo de vida que no está bajo el control de la organización.
• Arquitecturas con brechas de seguridad.
• Errores humanos.
• Vulnerabilidades del software.

ISO 23894, o por lo menos su texto, también ayuda a las organizaciones a identificar los activos de valor para la gestión de riesgos de IA. Estos se clasifican, de acuerdo con la norma, en tres categorías:

• Empresariales: modelos de IA y datos subyacentes.
• Personales: información y datos privados.
• Sociales: medio ambiente, comunidad, sociedad o Derechos Humanos.

Con esto en mente, la guía para realizar evaluaciones de riesgos de IA de acuerdo con ISO 42001 se desarrollaría siguiendo estos pasos:

1. Elegir un enfoque

El estándar para sistemas de gestión de inteligencia artificial no recomienda, solicita o sugiere un enfoque en particular para realizar las evaluaciones de riesgos de IA. ISO 23894, sin embargo, indica que los riesgos, además de identificarse, deben ser cuantificados o descritos de forma cualitativa. Así, es evidente que el estándar aprueba o sugiere el uso de uno u otro enfoque. Básicamente, cada uno de ellos solicita:

Enfoque cualitativo

Se trata de asignar un valor al riesgo de acuerdo con su impacto negativo, con su probabilidad de ocurrencia o con el punto de conjunción en una escala de los dos criterios. La categorización cualitativa más usual utiliza tres definiciones: alto, medio o bajo.

La ventaja es que esta categorización es fácil de entender, intuitiva y aceptada por todas las personas. En su contra se podría afirmar que es un tanto vaga e imprecisa y ofrece pocas oportunidades para la comparabilidad. Sin embargo, es un enfoque interesante para las organizaciones que inician el camino para realizar evaluaciones de riesgos de IA.

Enfoque cuantitativo

El enfoque cuantitativo ofrece mayor precisión y una alta dosis de comparabilidad. Dos metodologías se han afianzado en el área: análisis factorial del riesgo de la información (FAIR) y sistema de puntuación de riesgos de la Inteligencia Artificial (AIRSS).

Cualesquiera, entre estos dos métodos, permite a la organización asignar un valor de acuerdo con el impacto financiero del riesgo. La probable dificultad está en que los análisis deben ser realizados por profesionales cualificados y los resultados y conclusiones podrían ser asimilados por personas con iguales condiciones.

2. Definir el impacto

Con un enfoque elegido, lo que sigue es determinar la gravedad del impacto negativo de los riesgos de la IA, en caso de que ocurran. Los impactos pueden ser del orden empresarial, personal o social. Cada uno de estos posibles impactos se puede evaluar desde el enfoque elegido, cuantitativo o cualitativo, de forma similar a estos ejemplos:

• Empresarial: si se evaluaran riesgos en esta categoría, de acuerdo con las dos metodologías, se utilizarían calificaciones como estas:
  • Cualitativo: el riesgo crearía un colapso con capacidad para crear una interrupción “crítica” de la operación.
  • Cuantitativo: el riesgo puede ocasionar una pérdida entre 800.000 y 1.000.000 de euros, como consecuencia del uso de personas para completar tareas automatizadas que realizaba el sistema de IA que colapsó.
• Personal: los riesgos personales, como los de privacidad de datos, podrían expresarse, para cada uno de los enfoques así:
  • Cualitativo: se presentará un alto impacto en la privacidad de la información de las personas a causa del error en el entrenamiento de un modelo que gestiona información personal privada.
  • Cuantitativo: la infracción de seguridad tendrá un coste de 9,2 millones de euros y un descenso en el valor de la acción del 34 %.
• Sociales: el desarrollo y uso de sistemas de IA demandan un alto consumo de recursos naturales y energéticos. Es uno de los riesgos que se identifican con las evaluaciones de riesgos de la IA, y que se pueden expresar de acuerdo con los dos enfoques sugeridos así:
  • Cualitativo: el consumo de energía eléctrica y de agua tendría un impacto moderado en la comunidad.
  • Cuantitativo: el incremento de consumo de energía eléctrica y de agua en la comunidad tendrá un impacto financiero que puede estimarse en 1,5 millones de euros para el primer año, con aumentos progresivos de 9 % anual.

3. Argumentar las evaluaciones de riesgos de IA al auditor

El auditor espera algo más que el resultado de las evaluaciones de riesgos de IA. Espera que se documente la elección del enfoque y que se argumente, particularmente en el evento de que la elección sea cualitativa, la toma de las decisiones o la elección del criterio, sea este alto, medio o bajo.

Justificar las estimaciones en un documento, de la forma más explícita y clara posible, es algo que espera recibir el auditor. Entre las explicaciones, espera encontrar argumentos sobre por qué se produce el daño, cómo se valora y, en caso de existir un daño reputacional, entender qué metodología se utiliza para calificarlo como grave o para estimarlo en cifras o porcentajes.

4. Evaluar la probabilidad de ocurrencia

Agotada la etapa de calificación de la gravedad del impacto, analizar la probabilidad de ocurrencia es el factor que resta para completar las evaluaciones de riesgos de IA. La probabilidad también puede ser expresada en términos cualitativos o cuantitativos, para cada una de las categorías de riesgos, de una forma similar a esta:

• Empresarial: colapso del sistema de Inteligencia Artificial.
  • Cualitativo: probabilidad moderada o baja de ocurrencia.
  • Cuantitativo: probabilidad de una vez cada diez años, que se puede expresar como 0,1 anuales.
• Personal: sesgo en el entrenamiento del sistema de IA.
  • Cualitativo: la probabilidad de un entrenamiento malintencionado es baja o moderada.
  • Cuantitativo: es probable que se presenten entrenamientos no intencionados, diez veces al año.
• Social: el uso creciente de sistemas de IA de alto riesgo ocasionaría cortes de energía eléctrica o racionamiento de agua en la comunidad.
  • Cualitativo: la probabilidad de escasez o racionamiento de recursos naturales o energéticos es media.
  • Cuantitativo: la probabilidad de que se presenten cortes o racionamientos es del 10 % para el primer año, con incrementos de 0,3 % para cada año subsiguiente hasta llegar a 10.

5. Calcular el riesgo total

El objetivo esencial por el que se realizan evaluaciones de riesgos de IA es obtener un dato consolidado que permita establecer cómo de preocupante es cada riesgo, cuáles necesitan atención inmediata y cuáles deben recibir más recursos para su gestión. De la elección del enfoque dependerá, en esta etapa, la herramienta que se utilice para obtener el dato consolidado.

• Para el enfoque cuantitativo basta con construir una matriz basada en dos ejes con escala numérica, uno horizontal y otro vertical, en el que el punto de intersección nos indicará la posición del riesgo en la escala.
• En el enfoque cuantitativo lo más indicado es elegir una matriz de colores o un mapa de calor en el que el color rojo, por ejemplo, represente un riesgo muy alto, el azul uno muy bajo y el amarillo uno medio o neutro. Por supuesto, se trata de una metodología un tanto imprecisa en la que algunas zonas están supeditadas a la interpretación del destinatario del informe.

En cualquier caso, es importante entender que las evaluaciones de riesgos de IA no son actividades científicas. Por ello, no son exactas y no existen fórmulas, teoremas o postulados infalibles. Los resultados finales, no obstante, resultan útiles y fidedignos. Por eso es tan importante conocer las metodologías, los enfoques y contar con una guía probada y verificada.

Los profesionales que cuenten con el apoyo tecnológico apropiado para realizar evaluaciones con base en grandes cantidades de datos, confiables y transparentes, obtendrán mejores resultados. Todo ello, con los beneficios que implica para su empresa, para las personas, para los empleados, para los socios y para los consumidores.

Software ISO 42001

El Software ISO 42001 es una plataforma diseñada para automatizar y digitalizar la gestión de Sistemas de Inteligencia Artificial en muchas de sus tareas y procesos, incluyendo las evaluaciones de riesgos de IA y la gestión de los riesgos asociados al uso de esta tecnología.

Es un software fácil de usar y flexible, adaptable a las necesidades de todo tipo de organizaciones. Así, la plataforma permite aprovechar las oportunidades y beneficios que ofrece la IA. Si quieres conocer más detalles, solo tienes que solicitar más información a nuestros asesores.