ISO 42001 - Anexo C. Objetivos organizacionales potenciales relacionados con la inteligencia artificial y fuentes de riesgo
C.1 Generalidades
Este anexo describe objetivos organizacionales potenciales, fuentes de riesgo y descripciones que la organizaci贸n puede considerar al gestionar riesgos. Este anexo no pretende ser exhaustivo ni aplicable para todas las organizaciones. La organizaci贸n debe determinar los objetivos y fuentes de riesgo relevantes. ISO/IEC 23894 proporciona informaci贸n m谩s detallada sobre estos objetivos y fuentes de riesgo, y su relaci贸n con la gesti贸n de riesgos. La evaluaci贸n de los sistemas de IA, inicialmente, regularmente y cuando sea necesario, proporciona evidencia de que un sistema de IA est谩 siendo evaluado seg煤n los objetivos organizacionales.
C.2 Objetivos
C.2.1 Responsabilidad
El uso de la IA puede cambiar los marcos de responsabilidad existentes. Donde anteriormente las personas ser铆an responsables de sus acciones, ahora sus acciones pueden estar respaldadas o basadas en el uso de un sistema de IA.
C.2.2 Experiencia en IA
Se necesita una selecci贸n de especialistas dedicados con conjuntos de habilidades interdisciplinarias y experiencia en evaluar, desarrollar e implementar sistemas de IA.
C.2.3 Disponibilidad y calidad de los datos de entrenamiento y prueba
Los sistemas de IA basados en ML necesitan datos de entrenamiento, validaci贸n y prueba para entrenar y verificar los sistemas para el comportamiento previsto.
C.2.4 Impacto ambiental
El uso de la IA puede tener impactos positivos y negativos en el medio ambiente.
C.2.5 Equidad
La aplicaci贸n inapropiada de sistemas de IA para la toma de decisiones automatizada puede ser injusta para personas espec铆ficas o grupos de personas.
C.2.6 Mantenibilidad
La mantenibilidad est谩 relacionada con la capacidad de la organizaci贸n para manejar modificaciones del sistema de IA con el fin de corregir defectos o ajustarse a nuevos requisitos.
C.2.7 Privacidad
El uso indebido o la divulgaci贸n de datos personales y sensibles (por ejemplo, registros de salud) puede tener efectos perjudiciales en los sujetos de datos.
C.2.8 Robustez
En IA, las propiedades de robustez demuestran la capacidad (o incapacidad) del sistema para tener un rendimiento comparable en nuevos datos como en los datos con los que fue entrenado o los datos de operaciones t铆picas.
C.2.9 Seguridad
La seguridad se refiere a la expectativa de que un sistema no conduzca, bajo condiciones definidas, a un estado en el que la vida humana, la salud, la propiedad o el medio ambiente est茅n en peligro.
C.2.10 Seguridad
En el contexto de la IA y en particular con respecto a los sistemas de IA basados en enfoques de ML, se deben considerar nuevos problemas de seguridad m谩s all谩 de las preocupaciones cl谩sicas de seguridad de la informaci贸n y del sistema.
C.2.11 Transparencia y explicabilidad
La transparencia se relaciona tanto con las caracter铆sticas de una organizaci贸n que opera sistemas de IA como con esos mismos sistemas. La explicabilidad se refiere a explicaciones de factores importantes que influyen en los resultados del sistema de IA que se proporcionan a las partes interesadas de una manera comprensible para los humanos.
C.3 Fuentes de riesgo
C.3.1 Complejidad del entorno
Cuando los sistemas de IA operan en entornos complejos, donde el rango de situaciones es amplio, puede haber incertidumbre sobre el rendimiento y, por lo tanto, una fuente de riesgo (por ejemplo, el entorno complejo de la conducci贸n aut贸noma).
C.3.2 Falta de transparencia y explicabilidad
La incapacidad para informar adecuadamente a los interesados puede ser una fuente de riesgo (confiabilidad y responsabilidad de la organizaci贸n).
C.3.3 Nivel de automatizaci贸n
El nivel de automatizaci贸n puede tener un impacto en varias 谩reas de preocupaci贸n, como la seguridad, la equidad o la seguridad.
C.3.4 Fuentes de riesgo relacionadas con el aprendizaje autom谩tico
La calidad de los datos usados para el aprendizaje autom谩tico y el proceso para recopilar datos pueden ser fuentes de riesgo, ya que pueden afectar objetivos como la seguridad y la robustez (por problemas en la calidad de los datos o envenenamiento de datos).
C.3.5 Problemas de hardware del sistema
Las fuentes de riesgo relacionadas con el hardware incluyen errores de hardware basados en componentes defectuosos o en la transferencia de modelos de ML entrenados entre diferentes sistemas.
C.3.6 Problemas del ciclo de vida del sistema
Las fuentes de riesgo pueden aparecer a lo largo de todo el ciclo de vida del sistema de IA (por ejemplo, fallas en el dise帽o, implementaci贸n inadecuada, falta de mantenimiento, problemas con el desmantelamiento).
C.3.7 Preparaci贸n de la tecnolog铆a
Las fuentes de riesgo pueden relacionarse con una tecnolog铆a menos madura por factores desconocidos (por ejemplo, limitaciones y condiciones de contorno del sistema, desviaci贸n del rendimiento), pero tambi茅n por una tecnolog铆a m谩s madura por la complacencia tecnol贸gica.
