113 Figura 1. En la sección A se representa un modelo de caja negra y la relación entre los conceptos de capacidad predictiva e interpretabilidad. En la sección B se introducen las diferencias entre los conceptos de explicabilidad e interpretabilidad. redes neuronales constituyen cerebros artificiales con tantas conexiones neuronales como la infraestructura de computación en la que se construyen permita, lo que les confiere una capacidad inigualable para identificar patrones en los datos. Sin embargo, esta misma ventaja es, a la vez, una de sus mayores limitaciones y barreras de aplicación, pues el mismo nivel de complejidad que les confiere su alta capacidad predictiva es también el principal inconveniente para comprender su funcionamiento, convirtiéndolas en lo que se conoce como técnicas de ‘caja negra’(Figura 1A). En un modelo IA de‘caja negra’, aunque podemos realizar predicciones muy precisas a partir de casi cualquier tipo de dato de entrada, nunca podremos llegar a conocer las razones por las que toma unas u otras decisiones. Y es que suele existir una relación inversa entre la capacidad predictiva de un método IA y su nivel de eXplicabilidad (Figura 1A), lo que en ocasiones convierte a las técnicas más prometedoras en herramientas merecedoras de poca confianza para muchos usuarios. Este problema es especialmente crítico en ámbitos como la salud, la seguridad y la justicia, donde las decisiones basadas en la inteligencia artificial pueden tener un impacto significativo en la vida de las personas. eXplainable Artificial Intelligence (XAI) Este tipo de problemas y barreras han motivado el reciente desarrollo de una corriente de trabajo en IA conocida como la eXplainable Artificial Intelligence (XAI), en la que se promueve el desarrollo de sistemas de IA eXplicables, interpretables y, por ende, merecedores de confianza2. De hecho, los seres humanos solamente podrán confiar en la IA y aprovechar todos sus beneficios si tanto esta tecnología como los procesos subyacentes a ella son comprensibles. Por ejemplo, supóngase que en un hospital se ha instalado un sistema IA para ayudar a los médicos a diseñar terapias personalizadas para los pacientes oncológicos. Al realizar la predicción, el modelo recomienda una pauta farmacológica con una dosis 50 veces superior a la esperada por el médico. En este caso, es fundamental que el especialista pueda consultar la información utilizada por el modelo y el razonamiento que ha llevado a cabo el sistema para realizar esta predicción, con el objetivo de decidir si es necesario revisar el historial médico del paciente y reajustar la dosis del fármaco hasta esos niveles, o si, por el contrario, es necesario reajustar el sistema IA, ya que la predicción derivaba de un error o sesgo del sistema. En el entorno de la XAI, existen términos específicos que hacen referencia a estos aspectos. Por ejemplo, a la capacidad de un modelo para ofrecer explicaciones y justificaciones sobre su funcionamiento y su toma de decisiones se la denomina como‘nivel de eXplicabilidad o transparencia’del modelo (Figura 1B). Por otro lado, encontramos el concepto de ‘interpretabilidad’ de un modelo explicable, que es distinto al de eXplicabilidad, y que hace referencia a como de comprensibles son para un humano las explicaciones que el modelo ofrece sobre su funcionamiento. De esta forma, podría ocurrir que tres modelos explicables tengan distintos niveles de interpretabilidad si el mismo observador humano no es capaz de comprender igualmente los tres mecanismos de explicación (Figura 1B). Estos conceptos son de vital importancia y deben regir el desarrollo e implementación de algoritmos IA en los ámbitos de salud. Tal es la relevancia de este asunto que la Unión Europea ha establecido unas directrices muy concretas para promover el desarrollo de una IA fiable que respete los derechos fundamentales, posicionándose como líder en el desarrollo una tecnología ética y de vanguardia (https://artificialintelligenceact.eu). Estas directrices regulan los requisitos específicos que deberá cumplir cualquier sistema IA antes de ser implementado en un entorno relacionado con la salud de las personas. Y es que, solo si un sistema es eXplicable e interpretable podremos estar seguros de que también: • Es lícito y garantiza el respeto y cumplimiento de todas las leyes aplicables. • Es ético y asegura el cumplimento de los principios y valores éticos. • Es robusto y seguro, puesto que los sistemas de IA, incluso si las intenciones son buenas, pueden provocar daños accidentales. Además de la eXplicabilidad, esta regulación europea también establece seis principios adicionales para garantizar que los sistemas de IA se desarrollen, desplieguen y utilicen de manera fiable. Estos principios establecen que los sistemas IA deberán también: 1. Ser compatibles con la acción y supervisión humana. 2. Ofrecer solidez técnica y seguridad, incluyendo la capacidad de resistencia a los ataques, un plan de repliegue, así como ofrecer precisión, fiabilidad y reproducibilidad. 3.Asegurar una correcta salvaguarda de la privacidad de los datos, incluyendo el respeto de la calidad y la integridad de los datos, así como el acceso a los mismos. 4. Asegurar la diversidad, la no discriminación y equidad, incluyendo la ausencia de sesgos injustos y la accesibilidad de su código fuente. 5. Fomentar el bienestar social y ambiental, incluyendo la sostenibilidad y el respeto del medioambiente, el impacto social, la sociedad y la democracia. 6. Asegurar la rendición de cuentas, incluyendo la auditabilidad, la minimización de efectos negativos y su notificación, la búsqueda de equilibrios y las compensaciones.
RkJQdWJsaXNoZXIy NTI5ODA=