RESUMEN
Los avances en la regulación del desarrollo, implementación y uso de la inteligencia artificial requieren de la inclusión explícita de medidas que, por un lado, eviten y prevengan que se perpetúe la discriminación de las mujeres y, por otro, que fomenten la igualdad real y efectiva contribuyendo a un mejor desarrollo de los derechos humanos. Para ello, efectuamos un análisis sintético sobre el estado de las más recientes iniciativas reguladoras, con un especial detenimiento en la propuesta de reglamento europeo en materia de inteligencia artificial, desde una perspectiva de la igualdad de mujeres y hombres. A pesar del avance para la igualdad que se ha concretado en algunas de las normas comentadas, formulamos una serie de recomendaciones que sin duda contribuirían significativamente a eliminar los sesgos de género de la inteligencia artificial y a alcanzar la igualdad real y efectiva.
Palabras clave: Inteligencia artificial y derecho; igualdad de mujeres y hombres; perspectiva de género.
ABSTRACT
Advances in the regulation of the development, implementation and use of Artificial Intelligence require the explicit inclusion of measures that, on the one hand, avoid and prevent the perpetuation of discrimination against women; and on the other, that they promote real and effective equality, contributing to a better development of human rights. To do this, we carry out a synthetic analysis of the state of the most recent regulatory initiatives, with special attention to the proposal for a European Regulation on Artificial Intelligence, from a perspective of equality between women and men. Despite the progress towards equality that has been reflected in some of the aforementioned standards, we formulate a series of recommendations that would undoubtedly contribute significantly to eliminating gender biases in Artificial Intelligence and achieving real and effective equality.
Keywords: Artificial intelligence and Law; equality of women and men; gender perspective.
Una de las definiciones de inteligencia artificial (IA) que nos parecen más clarificadoras la realizó la UNESCO en 2020:
Implica el uso de computadoras para clasificar, analizar y hacer predicciones a partir de conjuntos de datos, utilizando un conjunto de reglas llamadas algoritmos. Los algoritmos de IA se entrenan utilizando grandes conjuntos de datos para que puedan identificar patrones, hacer predicciones, recomendar acciones y descubrir qué hacer en situaciones desconocidas, aprendiendo de nuevos datos y, por lo tanto, mejorando con el tiempo. La capacidad de un sistema de IA para mejorar automáticamente a través de la experiencia se conoce como machine learning (ML).
La implantación de su uso es irreversible y cada día se va a extendiendo más, convirtiéndose en un instrumento cotidiano para cualquiera de las actividades que desarrollen las personas. Frente a ello se dan fundados temores de que se convierta también en potenciador de desigualdades, incluyendo las existentes entre mujeres y hombres, si no se adoptan los mecanismos necesarios para impedirlo. Ello va a depender de si la IA sigue reproduciendo los sesgos de género ya existentes en la sociedad o si se aplican los análisis teóricos y prácticos que los estudios feministas han aportado para desarrollar una IA no sexista.
En relación con ello se ha señalado (Ortiz de Zárate, 2023) que los sesgos de género pueden darse, por una parte, en relación con la calidad de los datos que se suministran a los sistemas de IA, generalmente por una sobrerrepresentación de los relativos a los hombres blancos. También pueden ser por el propio proceso de autoaprendizaje de los algoritmos. Es el caso de los denominados algoritmos «opacos» o «de caja negra» (black box algorithms)[1], cuyo uso se prohíbe en el proyecto de Reglamento europeo, pero que también se puede dar en el uso de algoritmos «transparentes»[2], que acaban «encontrando patrones que permanecían ocultos y que no habían sido detectados anteriormente, reproduciendo así estereotipos de género». Y también pueden estar presentes en el hardware, el soporte físico de muchos sistemas de IA, en características como la voz, el nombre o el aspecto físico.
Pero todo ello no significa que no se pueda modificar esta tendencia, sobre todo si se adoptan medidas para cumplir con la finalidad de la igualdad de mujeres y hombres y poder así utilizar todo el potencial que representa la puesta en marcha de un instrumento que, bien diseñado desde la perspectiva de los derechos humanos y la igualdad de mujeres y hombres, puede contribuir a desarrollar una sociedad menos discriminatoria.
En ese sentido, ya hemos expuesto con anterioridad nuestra convicción de que la necesaria regulación jurídica del proceso de diseño, desarrollo y aplicación de los sistemas de IA no solo ha de garantizar el respeto de los derechos fundamentales en general, sino además incluir una referencia explícita al principio de igualdad y no discriminación de las mujeres, y que se ha de contemplar y favorecer también un uso positivo de tales sistemas, en el sentido de convertirlos en herramientas para el empoderamiento. Vamos a tratar de actualizar y sistematizar los logros y los desafíos que se van produciendo en la materia.
Como se señala reiteradamente, la preocupación de partida que subyace en las propuestas regulatorias es la constatación de los sesgos discriminatorios que afectan a muchas aplicaciones de IA; serían lo que se ha denominado «los costes ocultos de la inteligencia artificial» (Crawford en Cernadas y Calvo, 2022: 114). Se han puesto de manifiesto reiteradamente los sesgos de los sistemas de IA que se basan en una baja calidad de los datos masivos sobre los que realizan su aprendizaje, así como «por la falta de diversidad en los equipos de desarrolladores de la IA, que refuerza los sesgos intrínsecos» (propuesta 93 de la Resolución del Parlamento Europeo, de 3 de mayo de 2022, sobre la inteligencia artificial en la era digital, RPEIA); pero también se han denunciado supuestos de «banalidad del mal automatizado», en la medida en que «personas con propósitos moralmente cuestionables pueden emplear herramientas de aprendizaje automático para reforzar los prejuicios contra las personas marginadas»[3]. Se ha constatado que los denominados «sesgos algorítmicos [...] tienden a repetir y perpetuar las dinámicas asentadas de dominación, privilegio y discriminación duplicando el riesgo que estas queden acentuadas y reforzadas» (Rivas, 2023). Frente a ello han ido apareciendo diferentes propuestas de regulación jurídica a nivel internacional.
Una de las propuestas regulatorias más tempranas es la Recomendación en Inteligencia Artificial de la Organización para la Cooperación y el Desarrollo Económicos (OCDE)[4], que «tiene como objetivo fomentar la innovación y la confianza en la IA mediante la promoción de la gestión responsable de una IA confiable y al mismo tiempo garantizar el respeto de los derechos humanos y los valores democráticos». En junio de 2019, en la Cumbre de Osaka, los líderes del G20 acogieron con agrado los Principios de IA del G20, extraídos de la Recomendación. La Recomendación fue revisada por el Consejo de la OCDE el 8 de noviembre de 2023 para actualizar su definición de «sistema de IA», a fin de garantizar que la Recomendación siga siendo técnicamente precisa y refleje los avances tecnológicos, incluso con respecto a la IA generativa.
Por otra parte, en los últimos meses de 2023, ante la preocupación derivada de constatar que el proceso de desarrollo de sistemas de IA evoluciona mucho más rápidamente que las propuestas para su regulación, y partiendo de la convicción de que la respuesta ha de procurarse a nivel mundial, se ha anunciado la elaboración de un Código de conducta voluntario para las empresas que desarrollen la IA generativa[5], basado en la Hoja de ruta conjunta sobre herramientas de evaluación y medición para una IA confiable y gestión de riesgos[6], que complementará el proceso de IA del G7 realizado en Hiroshima[7] (ver al respecto Fernández, 2023b y 2023c). Parece que se da por supuesto que «es poco probable que el Congreso [de los EUA] apruebe reglas vinculantes para la IA», por lo que «el bloque europeo será el primero en dictar cómo los gigantes tecnológicos, incluidos Microsoft Corp. y el propietario de Google, Alphabet Inc., desarrollan los modelos básicos que sustentan la próxima frontera de la inteligencia artificial» (Edgerton y Deutsch, 2023). Por ello, mientras tanto, se ha dado este acuerdo para desarrollar una norma de «derecho blando», más fácil de poner en práctica, aunque sea de aplicación voluntaria[8].
Por su parte, Japón, ya ha hecho público un borrador de su Estrategia Integrada de Innovación para 2023. Se trataría con ella de aplicar una regulación menos dura que la de UE para promover el uso de IA y animar a su desarrollo en el país, pero solucionar los problemas relacionados con el copyright y los datos personales[9]. El borrador también incluye un plan concreto para establecer el Global Startup Campus, un centro de investigación y desarrollo conjunto de Japón y EE. UU. para la tecnología punta y la promoción de la «ciencia abierta» o la utilización de información en poder de instituciones de investigación y otros para beneficio de la sociedad[10].
En este contexto, no cabe duda de que la principal iniciativa regulatoria en proceso de desarrollo es la «Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de Inteligencia Artificial» (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión[11] (en adelante PRIA).
La Unión Europea ha iniciado un proceso de regulación jurídica de la IA que supone un hito en el ámbito internacional, dado que se trata de una norma de obligado cumplimiento para los países miembros de la UE. Entre los principales aspectos positivos del PRIA cabe destacar, por una parte, la propia iniciativa en sí, cuya finalidad es establecer una norma armonizada, al menos para los Estados miembros de la Unión Europea, que prohíbe determinadas prácticas de IA; que establece requisitos específicos para los sistemas de IA considerados «de alto riesgo» y obligaciones para sus operadores, y normas específicas de transparencia para concretos sistemas de IA. Se pretende con ello reducir al mínimo el riesgo de «discriminación algorítmica» (Fernández, 2019), con la implantación de medidas tales como la realización de pruebas, la gestión de riesgos, la documentación y la vigilancia humana durante todo su ciclo de vida.
Sin embargo, el PRIA en su primera redacción (21-4-2021) fía el control de su cumplimiento y la exigencia de responsabilidades y aplicación de sanciones por incumplimiento a autoridades nacionales. Además, la propuesta de partida no incluye ninguna referencia expresa en su articulado a las situaciones no ya de riesgo, sino constatadas, en las que los sistemas de IA adolecen de sesgos discriminatorios por razón de género. Se necesita, pues, promover la inclusión de medidas explícitas en el futuro Reglamento, tales como las siguientes (Senent y Ventura, 2024: 368-370):
a)la vigilancia específica en todas las fases de creación y aplicación de los sistemas de IA a fin de corregir eventuales sesgos de género en su entrenamiento y toma de decisiones; para lo cual se hace necesario, además,
b)que el personal implicado en dicho proceso cuente con formación suficiente y acreditada en materia de igualdad y no discriminación. Dicha formación se ha de introducir en todos los niveles de enseñanza y marcadamente en el universitario y debe garantizar
c)la presencia equilibrada de mujeres y hombres en todos los órganos con poder de planificación y decisión en el proceso de creación y aplicación de los sistemas de IA.
La PRIA, de acuerdo con el procedimiento legislativo de la Unión Europea, ha sido enmendado en profundidad por el Parlamento en junio de 2023. Han sido aprobadas un total de 771 enmiendas al texto originario[12] con la intención de adecuarlo a los rápidos avances en el desarrollo de la IA y de las cada vez más frecuentes voces que advertían de la necesidad de una rápida regulación jurídica. Aunque, como veremos, se han incluido diversas referencias explícitas a la necesidad de evitar la discriminación por razón de sexo en los sistemas de IA, consideramos que se ha perdido otra oportunidad para recoger de manera suficiente, efectiva y plena las cuestiones antes mencionadas.
A los efectos de este trabajo nos hemos centrado en el análisis de las enmiendas relacionadas con la igualdad de mujeres y hombres y las hemos agrupado en cuatro categorías:
Enmiendas relacionadas con los conceptos de sexo, género e igualdad de mujeres y hombres
Una cantidad significativa de enmiendas se orienta a concretar aspectos que sitúan a las personas en categorías susceptibles de discriminación, tales como el sexo, el género, la raza, la identidad de género, la orientación sexual, etc. Sin embargo, detectamos en algunas de ellas confusión en cuanto a los conceptos de sexo y género. Así, a veces se consideran términos equivalentes[13], mientras que en otras ocasiones se identifican como categorías diferentes pero equiparables, llegando a citarse en alguna ocasión el género como «característica biométrica» y diferente al sexo[14].
En cualquier caso, es cierto que, aunque se trata de conceptos distintos, en el fondo de su utilización como sinónimos subyace la conciencia de que la referencia se dirige a la discriminación de las mujeres, cuyo sexo y categorización genérica las sitúa en posición de subordinación. No obstante, consideramos necesario insistir en clarificar ambos conceptos y en propugnar su correcta utilización.
El concepto de género se refiere a la existencia de una normatividad femenina edificada sobre el sexo como hecho anatómico. Esta normatividad femenina reposa sobre un sistema social en el que el género es un principio de jerarquización, que asigna espacios y distribuye recursos a varones y mujeres (Cobo, 2008: 53). Este sistema social ha sido designado por la teoría feminista con el término patriarcado. Celia Amorós (2002) entiende por patriarcado un modo de dominación de los varones sobre las mujeres que tiene efectos sistémicos. También Cristina Molina define el patriarcado como el poder económico, político y social que los varones ejercen sobre las mujeres en todas las sociedades (2020). La posición de dominación de los hombres tiene un efecto estructural, dado que ha condicionado toda la organización personal y social: en cualquier ámbito de la sociedad las mujeres ocupan posiciones inferiores a los hombres; aunque existen algunas excepciones que confirman la regla, las mujeres tienden a estar subordinadas en la familia, en la política, en el trabajo etc.
Como hemos descrito, la IA está reproduciendo los sesgos de esa discriminación estructural que se ha desarrollado en el patriarcado, por lo que resulta útil clarificar ambos conceptos e, incluso, sería preferible en muchos de los supuestos sustituir las referencias al sexo y al género por la más directa a las mujeres[15], en tanto que sexo y género objeto de discriminación.
Enmiendas relacionadas con los derechos fundamentales de la UE, con especial referencia a las que incluyen alguna mención explícita a la igualdad y no discriminación
La PRIA establece como límite de actuación de la IA el necesario respeto a la Carta de los Derechos Fundamentales de la Unión Europea[16] (en adelante, CDFUE), y así se explicita en muchos de sus artículos; y además se otorga a la Comisión (art. 7 PRIA) la facultad de ampliar el listado de sistemas de IA considerados de alto riesgo cuando conlleven el riesgo de tener repercusiones negativas para los derechos fundamentales, el medio ambiente, la democracia y el Estado de derecho (enmienda 246 al art. 7 apdo. 2c). También resulta una aportación significativa la inclusión, mediante la enmienda 412, de un nuevo apdo. 6 ter al art. 29 de la PRIA en el que se establece la exigencia de una evaluación ex ante del impacto de un sistema de IA de alto riesgo en los derechos fundamentales en general. Y dado que la CDFUE, como no podría ser de otro modo, incluye la prohibición de la discriminación por razón de sexo (art. 21.1 CDFUE) y la garantía de la igualdad entre hombres y mujeres «en todos los ámbitos», sin perjuicio del «mantenimiento o la adopción de medidas que ofrezcan ventajas concretas en favor del sexo menos representado» (art. 23 CDFUE), las referencias de la PRIA al necesario respeto a los derechos fundamentales permitiría reclamar la consideración, siquiera sea implícita, de sistemas de AI de alto riesgo aquellos que puedan tener «repercusiones negativas» para la igualdad de mujeres y hombres.
También es cierto, y de ello nos congratulamos, que la enmienda 213, para la introducción de un nuevo artículo 4bis, que establece los principios generales aplicables a todos los sistemas de IA, incluye entre ellos el de «diversidad, no discriminación y equidad» (apdo. 1e), que se refiere a la «igualdad de acceso» y a la «igualdad de género y la diversidad cultural, evitando al mismo tiempo los efectos discriminatorios y los sesgos injustos prohibidos por el Derecho nacional o de la Unión».
No obstante, más allá de tal declaración programática esencial nos parece necesario que se haga una mención expresa en diversos ámbitos de la regulación a la prohibición por discriminación a las mujeres y/o a la necesidad de adopción de medidas de acción positiva para su superación. La PRIA incluye algunos avances en tal sentido pero, como en relación con el resto de enmiendas que ahora comentamos, nos parece que se hace de forma fragmentaria, puntual, cuando la aplicación de la mirada de género habría de ser transversal y sistemática, alcanzando a todos los ámbitos.
Enmiendas relacionadas con la formación en igualdad y no discriminación de quienes intervengan en el proceso de diseño, implementación, evaluación y uso de la IA
Consideramos que la formación de las personas que intervienen en el proceso de la creación de la IA no solo debe ser técnica, sino que también debe incluir la adquisición de conocimientos esenciales en materia de derechos fundamentales, en general, y de no discriminación e igualdad; de no ser así, los sistemas de IA que se desarrollen seguirán reproduciendo los sesgos discriminatorios que se dan en la sociedad, potenciándolos, además, de manera exacerbada.
En las enmiendas de la PRIA que ahora comentamos se introducen algunas menciones. Así, la enmienda 28 propone un considerando 9 ter (nuevo) sobre la necesaria alfabetización en materia de IA para «los proveedores, usuarios y demás personas afectadas» que demanda que se «promuevan el desarrollo de un nivel suficiente de alfabetización en materia de IA en todos los sectores de la sociedad para los ciudadanos de todas las edades, incluidas las mujeres y las niñas». Ello se concreta más adelante en la enmienda 214, que propone un nuevo art. 3 ter en el que se establece:
Al aplicar el presente Reglamento la Unión y los Estados miembros promoverán medidas para el desarrollo de un nivel suficiente de alfabetización en materia de IA, en todos los sectores y teniendo en cuenta las distintas necesidades de los grupos de proveedores, implementadores y personas afectadas de que se trate, también a través de la educación y la formación y de programas de capacitación y de mejora de capacidades, garantizando al mismo tiempo un equilibrio adecuado en materia de género y de edad, con vistas a permitir un control democrático de los sistemas de IA.
También se reclama de los proveedores e implementadores de sistemas que adopten «medidas para garantizar un nivel suficiente de alfabetización en materia de IA entre su personal y otras personas que se ocupen en su nombre de la operación y el uso de sistemas de IA».
Más adelante, en la enmienda 314, que propone una nueva redacción para el apdo. 1 del art. 14 PRIA, también reclama que las personas físicas encargadas de garantizar la vigilancia humana de los sistemas de IA de alto riesgo tengan «un nivel suficiente de alfabetización en materia de IA de conformidad con el art. 4 ter».
Como venimos valorando, nos parece que tanto las normas como las políticas europeas y nacionales han de avanzar más y más sistemáticamente, abordando la necesidad de que la formación en materia de igualdad y no discriminación se incluya de manera efectiva en todos los niveles de la educación obligatoria, con especial incidencia y desarrollo en aquellas materias y grados universitarios dirigidos a la formación de quienes hayan de intervenir en la cadena de creación e implementación de los sistemas de IA.
Enmiendas relacionadas con la presencia equilibrada de mujeres y hombres
Una vez más, también aquí hemos constatado que aflora de manera tímida en las enmiendas del Parlamento Europeo al primer borrador de la PRIA una tendencia a incluir la necesidad de una presencia equilibrada de mujeres y hombres, tanto en las medidas que se adopten en garantía del respeto a los derechos de las personas usuarias y/o afectadas como en la composición de los órganos que hayan de tomar decisiones en relación con los sistemas de IA. Sin embargo, como en otros aspectos, la intención se expresa de forma puntual, fragmentaria y, a veces, incluso erróneamente[17]. Así, el único ejemplo de introducción de «equilibrio entre mujeres y hombres» en la composición de un órgano lo encontramos en la enmienda 532 al art. 57 bis (nuevo), que regula la estructura del consejo de administración del Comité Europeo de Inteligencia Artificial, cuando establece que «el nombramiento de los miembros y suplentes del consejo de administración tendrá en cuenta la necesidad de equilibrio entre mujeres y hombres». La cursiva es nuestra para poner de relieve cómo, nuevamente, se introducen referencias ambiguas que dan pie a interpretar la no obligatoriedad del precepto.
Como ejemplo de enmienda que se refiere al equilibrio en la salvaguarda de derechos podemos citar la 634, al apdo. 2 del art. 69, dedicado a la configuración de los códigos de conducta de cumplimiento voluntario. En su nuevo apdo. c) se establece que tales códigos «considerarán la manera en que el uso de sus sistemas de IA podría afectar o aumentar la diversidad, el equilibrio de género y la igualdad». Este es otro ejemplo de confusión entre los conceptos de género y sexo, ya que aquí la referencia debería ser al equilibrio entre sexos o entre hombres y mujeres; pero también es un ejemplo de cómo pueden contemplarse medidas para el empoderamiento de las mujeres mediante el uso de sistemas de IA.
Durante el ejercicio de la Presidencia del Consejo de la UE por el Estado español, en el segundo semestre de 2023, se propiciaron las negociaciones entre ese órgano y el Parlamento Europeo, lo que culminó en un «acuerdo provisional»[18] sobre la PRIA. Su texto todavía no se había hecho público semanas después, mientras redactamos estas líneas; sin embargo, la nota de prensa publicada por el Consejo[19] apunta los que considera principales elementos del consenso alcanzado:
a)normas sobre modelos de IA de uso general de gran impacto que pueden causar un riesgo sistémico en el futuro, así como sobre los sistemas de IA de alto riesgo;
b)un sistema revisado de gobernanza con algunas competencias de ejecución a escala de la UE;
c)ampliación de la lista de prohibiciones, pero con la posibilidad de utilizar la identificación biométrica remota por parte de las autoridades policiales en espacios públicos, con sujeción a salvaguardias;
d)una mejor protección de los derechos mediante la obligación de que los implementadores de sistemas de IA de alto riesgo lleven a cabo una evaluación del impacto en los derechos fundamentales antes de poner en marcha un sistema de IA.
Al no incluirse en el texto ninguna mención explícita a la igualdad, esta última referencia a la protección de los derechos fundamentales, a la que únicamente se suman otras escasas alusiones a las modificaciones en materia de «transparencia y protección» de tales derechos en general, no nos permiten conocer siquiera si los avances introducidos mediante las enmiendas del Parlamento en junio de 2023 se van a mantener y, menos aún, por tanto, la posibilidad de su eventual mejora. No parece ser esa la tendencia.
El Comité sobre Inteligencia Artificial del Consejo de Europa presentó en enero de 2023 su «borrador cero» del Convenio [Marco] Internacional sobre Inteligencia Artificial, Derechos Humanos, Democracia y Estado de Derecho[20]. Se prevé que se trate del primer instrumento internacional jurídicamente vinculante sobre IA, pero «dado que su ámbito de aplicación se superpondrá en gran medida con la propuesta de Reglamento de IA», la Unión Europea ha acordado la oportuna apertura de negociaciones entre ambas instituciones (Fernández, 2022).
Cabe destacar de este borrador de Convenio que entre sus principios incluye el de igualdad y lucha contra la discriminación, «incluyendo la igualdad de género» (art. 9, en el borrador actualizado de diciembre de 2023). Además, se prevé «que cada Parte, dentro de su jurisdicción y de conformidad con su derecho interno, adoptará medidas que garanticen la disponibilidad de reparación por cualquier daño o perjuicio ilícito a los derechos humanos y las libertades fundamentales resultantes de la aplicación de sistemas de IA mediante el establecimiento de un sistema, de conformidad con su Derecho interno, por el que se registre el uso del sistema y, en su caso, se comunique el mismo a los sujetos afectados» (Fernández, 2023a)[21].
Como síntesis y valoración de su contenido y orientación concluimos que se proponen algunos avances con respecto a la PRIA, pero que se continúa dejando en manos de los Estados la adopción de medidas de control y reparación de daños.
En el ámbito interno del Estado español, la principal norma reguladora básica sigue siendo el art. 23 de la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación, que establece que las Administraciones públicas, en el ámbito de la Estrategia Nacional de Inteligencia Artificial, la Carta de Derechos Digitales y de las iniciativas europeas, han de favorecer el uso de una IA ética, confiable y respetuosa con los derechos fundamentales. Para ello han de poner en marcha «mecanismos para que los algoritmos involucrados en la toma de decisiones tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea factible técnicamente»[22]. Tales mecanismos han de alcanzar tanto al diseño de la IA como a los datos con que se entrene y abordarán su potencial discriminatorio. Entre ellos, se prevé explícitamente la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio y la creación de un sello de calidad de los algoritmos.
No obstante, se trata en realidad de una declaración de principios e intenciones, sin establecer el procedimiento para llevarla a cabo ni de quien depende su ejecución, por lo que muy probablemente queda pendiente de un desarrollo reglamentario posterior. Sí que se aprecian, en cambio, avances al regular la Ley en su título IV las infracciones y sanciones en materia de igualdad de trato y no discriminación en general (ver al respecto Aba, 2023:113-114; Rodríguez, 2023): su graduación se relaciona con la gravedad de las acciones tipificadas, que van desde la inobservancia de lo establecido en la Ley hasta los actos que constituyan discriminación o discriminaciones múltiples, así como la reiteración en las infracciones. Las multas que aplicar oscilan desde los 300 a los 500 000 euros.
Una normativa más específica sobre límites a los sistemas de IA ya se encontraba en la Ley 12/2021, de 28 de septiembre, por la que se modifica el Texto Refundido de la Ley del Estatuto de los Trabajadores para garantizar los derechos laborales de las personas dedicadas al reparto en plataformas digitales como Glovo, Deliveroo o Uber Eats (que por ello es coloquialmente conocida como la ley de riders). En ella se establece que tales empresas «deberán adaptarse en orden a reflejar la relación laboral con sus repartidores y compartir los algoritmos, en un período de tres meses». Se les obliga, pues, a «compartir con los sindicatos las reglas en las que se basan los algoritmos que pueden afectar a las condiciones laborales», dando de dicho modo publicidad a las reglas que encierran los algoritmos y los sistemas de IA que pueden incidir en las condiciones laborales por las que se rigen estas plataformas, incluyendo el acceso y mantenimiento del empleo y la elaboración de perfiles. Efectivamente, la Ley introduce una nueva letra d) en el art. 64.4 del ET que reconoce como derecho del trabajador a «ser informado por la empresa de los parámetros, reglas e instrucciones en los que se basan los algoritmos o sistemas de inteligencia artificial que afectan a la toma de decisiones que pueden incidir en las condiciones de trabajo, el acceso y mantenimiento del empleo, incluida la elaboración de perfiles» (Rivas, 2023).
Se trata, pues, de un ejemplo de cómo la regulación concreta del ejercicio de los derechos fundamentales de las personas va a ir incluyendo obligaciones de transparencia y salvaguardas en cuanto el uso de las herramientas de IA tenga o pueda tener efectos significativos sobre aquellos.
Por otra parte, el Estado español, adelantándose a la aprobación del futuro Reglamento europeo, en el que se establecerá la obligación para los Estados miembros de dotarse de «autoridades nacionales de supervisión), ya preveía en 2021 (Ley 22/2021, de 28 de diciembre, de Presupuestos Generales del Estado para el año 2022, disposición adicional centésimo trigésima) y 2022 (Ley 28/2022, de 21 de diciembre, de Fomento del Ecosistema de las Empresas Emergentes) la creación de la Agencia Española de Supervisión de Inteligencia Artificial (AESIA). Dicho organismo ha tomado forma mediante el Real Decreto 729/2023, de 22 de agosto, por el que se aprueba el Estatuto de la Agencia Española de Supervisión de Inteligencia Artificial.
La AESIA es una entidad de derecho público adscrita al Ministerio de Asuntos Económicos y Transformación Digital, con personalidad jurídica independiente, patrimonio propio y autonomía en su gestión con facultad para ejercer potestades administrativas para el cumplimiento de los programas correspondientes. Tiene su sede en la ciudad de A Coruña. Su objeto y fines se establecen en el art. 4 del Estatuto de la AESIA:
— tareas de supervisión, el asesoramiento, la concienciación y la formación dirigidas a entidades de derecho público y privado para la adecuada implementación de toda la normativa nacional y europea en torno al adecuado uso y desarrollo de los sistemas de inteligencia artificial, más concretamente, de los algoritmos;
— inspección, comprobación, sanción y demás que le atribuya la normativa europea que le resulte de aplicación y, en especial, en materia de inteligencia artificial;
— la minimización de los riesgos que puede suponer el uso de esta nueva tecnología, el adecuado desarrollo y potenciación de los sistemas de inteligencia artificial. En el ámbito de la competencia estatal, ejercerá las funciones de autoridad responsable de la supervisión, y en su caso sanción, de los sistemas de inteligencia artificial con el objeto de eliminar o reducir los riesgos para la integridad, la intimidad, la igualdad de trato y la no discriminación, en particular entre mujeres y hombres, y demás derechos fundamentales que pueden verse afectados por el mal uso de los sistemas.
En su cumplimiento, la actuación de la Agencia responderá, entre otros fines, a:
d) El fomento de entornos reales de prueba de los sistemas de inteligencia artificial, para reforzar la protección de los usuarios y evitar sesgos discriminatorios.
e) La supervisión de la puesta en marcha, uso o comercialización de sistemas que incluyan inteligencia artificial y, especialmente, aquellos que puedan suponer riesgos significativos para la salud, seguridad, la igualdad de trato y no discriminación, en particular entre mujeres y hombres, y para los demás derechos fundamentales.
Entre sus principios (art. 8 EAESIA), la Agencia cuenta con el de la
integración del principio de igualdad de trato entre mujeres y hombres, promoviendo la perspectiva de género y una composición equilibrada de mujeres y hombres en sus órganos, consejos y comités y actividades, de acuerdo con lo dispuesto en los arts. 14, 15 y 28 de la Ley Orgánica 3/2007, de 22 de marzo, para la igualdad efectiva de mujeres y hombres, la disposición adicional decimotercera de la Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación, el Real Decreto-ley 6/2019, de 1 de marzo, de medidas urgentes para garantía de la igualdad de trato y de oportunidades entre mujeres y hombres en el empleo y la ocupación y los Planes de igualdad para las Administraciones Públicas que sean de aplicación.
En la enumeración de sus competencias (art. 10 EAESIA) se encuentra:
— el apoyo al desarrollo y uso de sistemas de inteligencia artificial con perspectiva de género, incorporando el principio de igualdad de oportunidades entre mujeres y hombres en su diseño y ejecución y promoviendo la realización de evaluaciones de impacto capaces de identificar posibles sesgos discriminatorios por cualquiera de los motivos prohibidos por el ordenamiento jurídico. Todo ello con el objetivo de eliminar los sesgos discriminatorios de cualquier tipo y, en particular, los sesgos de género y los de índole étnico-racial; […]
— la supervisión y, en su caso, sanción de acuerdo con lo estipulado en la normativa europea en lo que respecta a la supervisión de sistemas de Inteligencia Artificial. El diseño, ejercicio y evaluación de esta función de supervisión se realizará incorporando la perspectiva de género.
En ejecución del principio de presencia equilibrada en sus órganos, el apdo. 7 del art. 15 EAESIA expresa que «la designación de los miembros del Consejo Rector se ajustará al principio de igualdad de género, promoviendo[23] la perspectiva de género y una composición equilibrada de mujeres y hombres».
La disposición adicional primera del RD 729/2023 preveía la efectiva puesta en funcionamiento de la Agencia con la constitución de su Consejo Rector, cuya composición ya se hizo pública el 7 de diciembre de 2023.
Y más recientemente se ha promulgado el Real Decreto 817/2023, de 8 de noviembre, que establece un entorno controlado de pruebas para el ensayo del cumplimiento de la PRIA. Como se ha indicado,
el sandbox [entorno controlado de pruebas] posibilita la cooperación entre los usuarios y los proveedores de Inteligencia Artificial. Además, pretende acercar a las autoridades competentes las empresas desarrolladoras de IA con el objetivo de definir una guía de buenas prácticas para la implementación del futuro Reglamento Europeo de Inteligencia Artificial. El entorno controlado de pruebas tendrá un procedimiento de selección y admisión para empresas proveedoras y clientes de sistemas de IA y un Comité asesor de Expertos[24].
El art. 3.2 del Real Decreto 817/2023 define el «entorno controlado de pruebas o experiencia» como «entorno o experiencia, con una duración determinada, que proporciona un contexto estructurado para el desarrollo de las actuaciones necesarias que posibiliten a proveedores y usuarios de los sistemas de inteligencia artificial de alto riesgo, sistemas de propósito general y modelos fundacionales[25] que realicen las pruebas necesarias para la implementación de los requisitos establecidos en este Real Decreto, bajo la supervisión del órgano competente». Y en su art. 27.3 se establece que «el grupo de personas asesoras expertas velará por el cumplimiento del principio de igualdad de género en el desarrollo de las tareas encomendadas, y en su designación se atenderá al principio de presencia equilibrada entre mujeres y hombres»[26].
La igualdad de género también se asume, de forma transversal, en el marco del Plan de Recuperación, Transformación y Resiliencia del Estado Español que, entre otros objetivos, se propone «acelerar la transformación digital de la economía y la sociedad, proporcionando un clima favorable a la inversión y al refuerzo del tamaño de las empresas, para aumentar la productividad y competitividad de toda la economía a través de tecnologías digitales disruptivas como la Inteligencia Artificial. Impulsando una digitalización humanista, que ponga en el centro a las personas y se alinee con una Carta de Derechos Digitales acordada a nivel nacional, europeo y global». Entre sus treinta líneas de actuación se incluye la 16, Estrategia Nacional de Inteligencia Artificial, que se fija como uno de sus objetivos «potenciar la IA inclusiva y sostenible, como vector transversal para afrontar los grandes desafíos de nuestra sociedad, específicamente para reducir la brecha de género, la brecha digital, apoyar la transición ecológica y la vertebración territorial». Y la mencionada Carta de Derechos Digitales incluye un apdo. XXV, «Derechos ante la inteligencia artificial». Todas estas normas de derecho blando parecen haber asumido claramente la necesidad de aplicar una perspectiva de género al ámbito de la IA, pero no hemos encontrado ningún plan o proyecto específico para llevarlo a cabo.
Realizado el análisis de síntesis de las principales normas y propuestas regulatorias de los sistemas de IA que se vienen presentando en los últimos años, tanto en el ámbito internacional y europeo como en el interno, consideramos que podemos concluir que queda bastante camino por recorrer a fin de que se adopten las medidas que garanticen la igualdad de mujeres y hombres y se fomente un uso de la IA empoderador de las mujeres. Basándonos en el análisis de los proyectos de regulación jurídica y de las normas existentes, realizamos una serie de propuestas que podrían ayudar a eliminar los actuales sesgos de género de la IA y contribuir a la igualdad efectiva de mujeres y hombres. Así:
Ya hemos visto cómo la PRIA en la fase de enmiendas del Parlamento ha introducido la necesidad de promover «un nivel suficiente de alfabetización en materia de IA», tanto por parte de las personas proveedoras y desarrolladoras de los sistemas de IA como de las personas usuarias. Por nuestra parte insistimos en que las normas y las políticas europeas y nacionales han de ser más audaces y reclamar que la formación en materia de igualdad y no discriminación se incluya de manera efectiva en todos los niveles de la educación obligatoria, con especial incidencia y desarrollo en aquellas materias y grados universitarios dirigidos a la formación de quienes hayan de intervenir en la cadena de creación e implementación de los sistemas de IA. De otro modo, será difícil, si no imposible, que personas desarrolladoras y usuarias sean «capaces de identificar las fuentes de sesgo y corregirlas» (Cernadas y Calvo, 2022: 115) o, al menos, promover su corrección.
En el ámbito del Estado español, como es sabido, la obligatoriedad de la formación en igualdad en las universidades está establecida desde el año 2004, en el art. 4.7 de la Ley 1/2004, de 28 de diciembre, de Medidas de Protección Integral contra la Violencia de Género. Sin embargo, esta norma se viene incumpliendo sistemáticamente: todavía en la actualidad se encuentran pocos planes de estudio que tengan alguna asignatura relacionada con esta materia y, a pesar de ello, son aprobados y puestos en marcha, privando al estudiantado de un conocimiento sobre la igualdad y no discriminación por razón de sexo que les permita aplicarlo en el desarrollo de su posterior actividad profesional.
Ello es especialmente preocupante en la formación académica capacitadora para el diseño de los algoritmos y de su significatividad en la decisión final, que se agrava todavía más si se tiene en cuenta la reducida participación de las mujeres en los estudios de las denominadas áreas STEM y, por tanto, en el consecuente ejercicio profesional y en la toma de decisiones con ella relacionadas. El fenómeno, como es sabido, no es casual. En la división sexual del trabajo de la sociedad patriarcal a las mujeres se les asignan las tareas de cuidados, fundamentalmente en el ámbito privado, pero también en el público, y se les disuade, ya sea de forma expresa o sutil, de orientar su formación y su actividad profesional hacia sectores tecnológicos, tradicionalmente asignados a los hombres, a quienes se les atribuye una hipotética mayor capacitación innata para ello. Se desvía así a las mujeres del control del poder tecnológico. Se hace necesario, pues, revertir dicha tendencia con las medidas de acción positiva que resulten adecuadas y, sobre todo, con formación obligatoria y políticas de fomento.
La composición equilibrada de los órganos y estructuras de toma de decisiones es uno de los principios impulsados por la Unión Europea, que lo incluye en diferentes ámbitos y, sobre todo, en la investigación. Así, los programas de investigación Horizonte 2020 y Horizonte Europa 2021-2027 requieren la composición equilibrada en los equipos de investigación y en los de evaluación. En realidad, se ha convertido en un principio transversal para todo el proceso de la investigación. Los equipos que desarrollan los algoritmos de la IA deben, por tanto, tener esta composición. Con ello se aportaría una pluralidad de visiones que complemente y complete los resultados investigadores de la IA.
En nuestro criterio, el principio de presencia equilibrada de mujeres y hombres se ha de extender a todos los ámbitos de toma de decisiones relacionados con la IA. En ese sentido, en el recorrido por las propuestas normativas antecedentes hemos constatado una cierta tendencia a incluir la presencia equilibrada tanto en los colectivos de personas usuarias y/o afectadas eventuales receptoras de medidas de garantía de respeto a sus derechos como en la composición de los órganos que hayan de tomar decisiones en relación con los sistemas de IA. No obstante, en la PRIA se incluyen, como hemos visto, únicamente propuestas puntuales —no de manera transversal— que abarquen todo el proceso de la IA. En cambio, en el ámbito interno español hemos podido apreciar una regulación más extensa y coherente; no obstante, al tratarse de normas recientes no podemos todavía valorar su efectividad.
Nos referimos concretamente al Estatuto de la Agencia Española de Supervisión de la Inteligencia Artificial, que incluye expresamente en la integración del principio de igualdad de trato de hombres y mujeres la promoción de «una composición equilibrada de mujeres y hombres en sus órganos, consejos y comités y actividades», citando para ello «lo dispuesto en los arts. 14, 15 y 28 de la Ley Orgánica 3/2007, de 22 de marzo, para la Igualdad Efectiva de Mujeres y Hombres, la disposición adicional decimotercera de la Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación, el Real Decreto-ley 6/2019, de 1 de marzo, de medidas urgentes para garantía de la igualdad de trato y de oportunidades entre mujeres y hombres en el empleo y la ocupación y los Planes de igualdad para las Administraciones Públicas que sean de aplicación». Y más adelante, dicha «promoción» se concreta en la composición de uno de sus principales órganos, el Consejo Rector, cuyos miembros se han de designar ajustándose a «una composición equilibrada de mujeres y hombres». A nuestro entender, el camino apuntado por el Estatuto de la AESIA debería integrarse en cualesquiera normas reguladoras de los sistemas de IA, estableciendo la transversalidad de la presencia equilibrada de mujeres y hombres en todos los ámbitos de decisión.
Dado que la regulación europea adopta un «enfoque basado en los riesgos»[27], identifica los que se califican como sistemas de IA «de alto riesgo» y se establece para ellos una serie de requisitos relativos a «los datos y su gobernanza, la documentación y el registro, la transparencia y la comunicación de información a los usuarios, la vigilancia humana, la solidez, la precisión y la seguridad» exigibles a lo largo de todo su proceso de diseño, implementación y aplicación. A tal respecto, consideramos como puntos especialmente sensibles a la igualdad y no discriminación los relativos a los datos de entrenamiento, validación y prueba de los sistemas de IA que lo requieran (art. 10 PRIA), y a la necesidad de vigilancia humana (art. 14 PRIA). Ambos aspectos deberían incorporar, a nuestro entender, referencias y medidas específicas a la necesidad de garantizar la igualdad de mujeres y hombres.
Por lo que respecta a la primera cuestión, la relativa al entrenamiento de los sistemas de IA, proponemos ir más allá de la atención «a posibles sesgos» y la «detección de posibles lagunas o deficiencias en los datos y la forma de subsanarlas», y que se considere la oportunidad de establecer la obligación de una formación específica en igualdad y no discriminación también para la IA, no únicamente para el personal desarrollador. Se trataría de promover el establecimiento de una especie de «ley universal de la IA»[28] el que sus sistemas de implementación incorporen «de serie» los criterios para garantizar igualdad y no discriminación.
En cuanto a la vigilancia humana del diseño y desarrollo de los sistemas de IA de alto riesgo, la enmienda 314 al art. 14.1 de la PRIA incorpora la necesidad de que «las personas físicas encargadas de garantizar la vigilancia humana» tengan «un nivel suficiente de alfabetización en materia de IA». Como hemos manifestado supra, nos parece que es necesaria la incorporación de una referencia explícita a su formación en materia de igualdad y no discriminación, a fin de que tal supervisión contribuya a evitar eventuales sesgos de género.
Ya hemos apuntado también como uno de los puntos débiles de la regulación en materia de IA es la deficiente concreción de los órganos y procedimientos que se hayan de ocupar de la supervisión de su cumplimiento y, en su caso, de la aplicación de sanciones ante su incumplimiento. Como hemos visto, mientras que la mayor parte de propuestas a nivel internacional fían su cumplimiento a la voluntariedad de las empresas desarrolladoras, la PRIA remite estas funciones a las autoridades internas de cada Estado.
En un mundo de relaciones cada vez más globalizadas establecer la potestad coercitiva en Estados nacionales limita cada vez más la efectividad de las normas. En ese sentido, no es casual que mayoritariamente las grandes empresas que desarrollan IA estén ubicadas en territorios donde la regulación es más escasa, como Estados Unidos, India o China. Y todo ello coadyuva al debilitamiento del papel de liderazgo en la materia que pretende ocupar la Unión Europea[29].
La constatación de tales aspectos nos lleva a proponer como única solución de futuro retomar y desarrollar el debate sobre la necesidad del Estado mundial, un poder político con capacidad para hacer cumplir las normas —en el sentido kelseniano del término— para poder sancionar su incumplimiento en cualquier parte del planeta, sin perjuicio de rescatar el principio democrático, pero reubicado en un espacio diferente, continuando así con el proceso de construcción de la ciudadanía global, a la que sin duda puede contribuir de manera importante un desarrollo de la IA respetuosa con los derechos humanos como marco de convivencia mínimo (Habermas, 1999) y sobre el que se puede elaborar una Constitución de la Tierra (Ferrajoli, 2022), reconociendo derechos fundamentados en la igualdad de mujeres y hombres, así como la regulación de un poder paritario global.
| [1] |
En ellos «resulta imposible, incluso para los propios ingenieros, rastrear pasos que ha seguido la IA por su cuenta». |
| [2] |
«Nutridos con una muestra de datos que ha sido auditada y sometida a unos controles de calidad muy estrictos». Como se ha indicado, «aunque las tecnologías de machine learning se caracterizan como "sistemas cerrados", nada impide que la IA incorpore mecanismos que permitan la trazabilidad del proceso de toma de decisiones y el desarrollo y uso de herramientas y técnicas de aclaración. Esto no significa que la divulgación de información sobre un algoritmo concreto deba llegar a poner en peligro los secretos comerciales e industriales y la propiedad intelectual. Se trata de promover una transparencia significativa que permita interpretar el sistema […]. El respeto de los derechos fundamentales en los sistemas cerrados exige trazabilidad, auditabilidad y comunicación transparente sobre sus capacidades. Siempre debe ser posible saber porqué se tomó una decisión o se alcanzó un resultado concreto, o qué combinación de factores contribuyó a la decisión. La información clara, congruente y suficiente sobre el proceso de toma de decisiones en materia de IA es un requisito indispensable» (Pimentel, 2023:15). |
| [3] |
Se basa esta propuesta de análisis en el concepto de «banalidad del mal» desarrollado por Hannah Arendt (1999). Como indican estos autores, «no solo los algoritmos (supuestamente neutrales) pueden perpetuar la discriminación, sino que individuos socialmente irresponsables pueden utilizar algoritmos con fines inmorales. [...] Esta consideración también se puede aplicar al contexto de los algoritmos "obedientes de las reglas" y "conformistas" que siguen ciegamente las órdenes dadas por sus programadores potencialmente sesgados» (Senent y Bueso, 2022). En similar sentido, Edgerton y Deutsch (2023) toman como ejemplo el reciente caso en que «una imagen falsa aparentemente generada por IA de una explosión cerca del Pentágono asustó a los mercados estadounidenses, con lo que la tecnología ya ha creado ganadores y perdedores corporativos». |
| [4] |
La Recomendación del Consejo sobre Inteligencia Artificial, OECD/LEGAL/0449, se adoptó el 22/05/2019 y ha sido modificada el 08/11/2023. Su texto actualizado puede consultarse en https://tinyurl.com/37fj947n. En torno a un compromiso compartido con esta recomendación ha surgido la Asociación Global sobre Inteligencia Artificial (GPAI en sus siglas en inglés), una iniciativa que «tiene como objetivo cerrar la brecha entre la teoría y la práctica en IA mediante el apoyo a investigaciones de vanguardia y actividades aplicadas sobre prioridades relacionadas con la IA. […] reúne mentes comprometidas y experiencia de la ciencia, la industria, la sociedad civil, los gobiernos, las organizaciones internacionales y el mundo académico para fomentar la cooperación internacional. […] Todas las actividades de GPAI tienen como objetivo fomentar el desarrollo responsable de la IA basado en estos principios de derechos humanos, inclusión, diversidad, innovación y crecimiento económico» (disponible en: https://tinyurl.com/2tyxz6d3). La Recomendación incluye una referencia genérica a que «los actores de la IA deben respetar el estado de derecho, los derechos humanos y los valores democráticos durante todo el ciclo de vida del sistema de IA. Estos incluyen […] no discriminación e igualdad, diversidad, equidad,…»; y otra algo más concreta a que «las partes interesadas deben […] reducir las desigualdades económicas, sociales, de género y de otro tipo». |
| [5] |
Con dicho calificativo se denomina a los sistemas de IA basados en datos de entrenamiento, a menudo provenientes de grandes muestras de lenguaje extraídas de internet, para aprender a responder en diversas situaciones, en lugar de estar diseñados para una tarea específica. |
| [6] |
«La hoja de ruta conjunta del Consejo de Comercio y Tecnología UE-EE. UU. tiene por objeto promover terminologías y taxonomías compartidas, pero también fundamentar nuestros enfoques en materia de gestión de riesgos de IA y de IA fiable a ambos lados del Atlántico. La hoja de ruta ayudará a crear (como siguiente paso) un repositorio común de parámetros para medir la fiabilidad de la IA y los métodos de gestión de riesgos. También tiene potencial para informar y avanzar en los enfoques colaborativos en los organismos internacionales de normalización relacionados con la inteligencia artificial» (disponible en: https://tinyurl.com/23pxr9kc). El documento únicamente incluye una referencia genérica con respecto a la necesidad de protección de los derechos humanos y de los valores democráticos, incluyendo la «protección frente a discriminaciones» y la «igualdad de oportunidades, incluido el acceso equitativo» a una serie de bienes y derechos. |
| [7] |
«Proceso de Hiroshima del G7 sobre Inteligencia Artificial Generativa (IA). Hacia un entendimiento común del G7 sobre la IA generativa. En mayo de 2023, los líderes del G7 identificaron temas de discusión en el Proceso de Inteligencia Artificial (IA) de Hiroshima y pidieron un balance temprano de las oportunidades y desafíos relacionados con la IA generativa. Este informe presenta los resultados de un cuestionario dirigido a los miembros del G7 desarrollado para respaldar el balance y ayudar a guiar los debates del G7 sobre prioridades políticas comunes sobre la IA generativa. También proporciona una breve descripción general del desarrollo de la IA generativa a lo largo del tiempo y en todos los países. Los resultados del informe y del cuestionario representan una instantánea en el tiempo: son indicativos de las tendencias identificadas en la primera mitad de 2023 en un área de tecnología en rápida evolución. El informe ayudó a informar y estructurar las discusiones sobre el Proceso de IA del G7 en Hiroshima» (disponible en: https://tinyurl.com/er6jx27w). El documento no contiene ninguna referencia a la igualdad ni a la equidad de género. |
| [8] |
Coincidimos con Flores (2023:116), que observa una «excesiva proliferación de recomendaciones de soft law allá donde deberían dictarse normas vinculantes». |
| [9] |
Raquel Holgado, «Europa, EEUU y ahora Japón: estos son los territorios que ya proponen leyes para regular la inteligencia artificial», 20 Minutos, 06/06/2023, disponible en: https://tinyurl.com/mwjj9sup. |
| [10] |
«Japan to Promote Use of Generative AI While Addressing Risks», The Japan News, 31/05/23, disponible en: https://tinyurl.com/y3jdkdcm. |
| [11] |
Bruselas, 21-4-2021 COM (2021) 206 final, disponible en: https://tinyurl.com/ 357y5prh. |
| [12] |
Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión, COM (2021) 0206-C9-0146/2021-2021/0106 (COD), disponible en: https://tinyurl.com/2e3252zj. |
| [13] |
Esa parece ser la explicación de que en la enmienda 39 (nuevo considerando 16 bis), cuando se refiere a «los sistemas de IA que clasifican a las personas físicas, asignándolas a categorías específicas» que «presentan un gran riesgo de discriminación», se refiera explícitamente al género, pero no al sexo. |
| [14] |
Propuesta de considerando 7 ter (nuevo): «La noción de "categorización biométrica" según se utiliza en el presente Reglamento debe definirse como la asignación de personas físicas a categorías concretas o la inferencia de sus características y atributos, como género, sexo, edad, color de pelo, color de ojos […]» (enmienda 23). En cambio, en la enmienda 41, al considerando 18 la referencia es —a nuestro entender más correctamente— únicamente al sexo, como característica de identificación biométrica que puede «dar lugar a resultados sesgados y tener consecuencias discriminatorias». |
| [15] |
Así se hace en la enmienda 65 respecto del considerando 35, que se refiere a los sistemas de IA «que pueden decidir la trayectoria formativa y profesional de una persona y, en consecuencia, afectar a su capacidad para asegurar su subsistencia. Cuando no se diseñan y utilizan correctamente, estos sistemas pueden invadir especialmente y violar el derecho a la educación y la formación, y el derecho a no sufrir discriminación, además de perpetuar patrones históricos de discriminación, por ejemplo, contra las mujeres, los grupos de una edad determinada, las personas con discapacidad o las personas de cierto origen racial o étnico o con una determinada orientación sexual». Y con prácticamente idéntica redacción, para alguno de los sistemas de IA utilizados en los procesos utilizados en el ámbito del empleo y la gestión de personal (enmienda 66, respecto del considerando 36). En cambio, respecto de los utilizados para evaluar el acceso a determinados servicios y ayudas de carácter público y privado (enmienda 67, respecto del considerando 37) la referencia es al género. |
| [16] |
Diario Oficial de las Comunidades Europeas, 18/12/2000, 2000/C 364/01, disponible en: https://tinyurl.com/bdeskzzb. |
| [17] |
Tal es el caso, por ejemplo, de la enmienda núm. 214 al art. 4 ter (nuevo), referido a la alfabetización en materia de IA, cuando señala que «la Unión y los Estados miembros promoverán medidas para el desarrollo de un nivel suficiente de alfabetización en materia de IA en todos los sectores […], garantizando al mismo tiempo un equilibrio adecuado en materia de género y edad con vistas a permitir un control democrático de los sistemas de IA». Aquí la utilización de la palabra género no es correcta, dado que la referencia es a permitir un control democrático de los sistemas de IA, esto es, a conseguir un equilibrio de mujeres y hombres; por lo tanto, no se trata de un equilibrio de género, sino de sexo. |
| [18] |
Una vez redactado el texto, sobre el que ya no caben modificaciones, se remitirá al Parlamento y al Consejo para su aprobación. |
| [19] |
«Reglamento de Inteligencia Artificial: el Consejo y el Parlamento alcanzan un acuerdo sobre las primeras normas del mundo en materia de inteligencia artificial», 09/12/23, disponible en: https://tinyurl.com/34n6zu9r. |
| [20] |
Tras la primera lectura del borrador «el presidente del Comité de Inteligencia Artificial (CAI) del Consejo de Europa ha preparado, con la ayuda de la Secretaría, un borrador de trabajo consolidado (Consolidated working draft of the Framework Convention on artificial intelligence, human rights, democracy and the rule of law) que debe servir de base para las futuras negociaciones del Convenio Marco» (Fernández, 2023d). El texto consolidado, de 18/12/23, puede consultarse en: https://tinyurl.com/pvjca2sk. |
| [21] |
Ver al respecto la redacción actualizada a diciembre de 2023 de los capítulos IV (arts. 14 y 15) y V (art. 16). |
| [22] |
Sobre la última expresión, «siempre que sea factible técnicamente», ver el acertado comentario de Araiz (2022) en el sentido de que «el precepto debería haber omitido la excusa de la imposibilidad técnica para justificar una posible vulneración de un derecho tan básico en el procedimiento administrativo, como es el de transparencia, ya que ello supone una carga desproporcional hacia el interesado, el cual ve truncado su derecho a recibir una resolución motivada como consecuencia de una imposibilidad técnica. En definitiva, lo más coherente en aras a evitar confrontaciones con los derechos de los ciudadanos hubiera sido establecer la prohibición de uso por parte de las Administraciones Públicas de sistemas IA sustentados en black boxes». |
| [23] |
Pueden darse por reproducidos aquí todos los comentarios que se han ido realizando por la doctrina para el art. 75 de la Ley Orgánica 3/2007 para la Igualdad Efectiva de Mujeres y Hombres, que establece que «las sociedades obligadas a presentar cuenta de pérdidas y ganancias no abreviada procurarán incluir en su consejo de administración un número de mujeres que permita alcanzar una presencia equilibrada de mujeres y hombres en un plazo de ocho años a partir de la entrada en vigor de esta Ley». En síntesis, mientras que la postura doctrinal mayoritaria considera que la norma no tiene carácter imperativo, sino que es una mera recomendación, otra interpretación aboga por considerar que el art. 75 LOIEMH acoge una «obligación de resultado». Una posición intermedia, a la que nos sumamos, entiende que «nos encontramos ante una obligación de medios, cuyo satisfactorio cumplimiento está vinculado al empleo de la diligencia debida por parte de las sociedades afectadas por la norma» (ver por todos, Senent, 2018). |
| [24] |
Ministerio para la Transformación Digital y de la Función Pública, 07/11/23, «España, pionera en el impulso de la regulación de Inteligencia Artificial, pone en marcha el entorno controlado de pruebas del Reglamento Europeo de Inteligencia Artificial», disponible en: https://tinyurl.com/5xfksue8. |
| [25] |
A su vez, el «modelo fundacional» se define como «un modelo de inteligencia artificial entrenado en una gran cantidad de datos no etiquetados a escala (generalmente mediante aprendizaje autosupervisado y/o con recopilación automática de contenido y datos a través de internet mediante programas informáticos) que da como resultado un modelo que se puede adaptar a una amplia gama de tareas posteriores», art. 3.6 RD 917/2023. |
| [26] |
El «grupo de personas expertas» estará «integrado por profesionales independientes de reconocido prestigio y experiencia técnica en campos afines del conocimiento, con responsabilidades presentes o pasadas en el ámbito académico y universitario, en instituciones colegiales, asociaciones de otro tipo, o en el sector empresarial» (art. 27.1 del RD 817/2023). Además de la citada función de velar por el cumplimiento del principio de igualdad de género «colaborará en el entendimiento y comprensión de la forma de implementar los requisitos aplicables a los sistemas de inteligencia artificial de alto riesgo, así como en la aportación de información relevante para la mejora de las guías técnicas». Respecto del mandato legal de «velar por el principio de igualdad de género» puede repetirse lo apuntado en la nota 23. |
| [27] |
Es el propio texto de la PRIA (punto 2.3. de la exposición de motivos) el que nos proporciona una explicación sintética: «Un enfoque basado en los riesgos y únicamente impone cargas normativas cuando es probable que un sistema de IA entrañe altos riesgos para los derechos fundamentales y la seguridad. A los demás sistemas de IA que no son de alto riesgo tan solo se les imponen obligaciones muy limitadas en materia de transparencia; por ejemplo, en lo que se refiere a la presentación de información para comunicar el uso de un sistema de IA cuando este interactúe con humanos. En el caso de los sistemas de IA de alto riesgo, los requisitos relativos a los datos de alta calidad, la documentación y la trazabilidad, la transparencia, la vigilancia humana, la precisión y la solidez son estrictamente necesarios para reducir los riesgos de la IA para los derechos fundamentales y la seguridad y que no están cubiertos por otros marcos jurídicos existentes». |
| [28] |
Se emularía con ello la famosa propuesta del escritor y divulgador científico Isaac Asimov en relación con sus conocidas «leyes de la robótica». En sus novelas y en las de otras personas autoras posteriores «las leyes son "formulaciones matemáticas impresas en los senderos positrónicos del cerebro" de los robots (líneas de código del programa que regula el cumplimiento de las leyes guardado en la memoria principal de estos), y no se pueden eludir, ya que están pensadas como una característica de seguridad», https://tinyurl.com/259hae8h. |
| [29] |
Ver, al respecto, la enmienda 16 al considerando 5 de la PRIA: «El presente Reglamento respalda el objetivo de la Unión de promover la IA creada en Europa, ser un líder mundial en el desarrollo de inteligencia artificial segura, digna de confianza y ética». |
|
Aba Catoira, A. (2023). Discriminación en la comunicación y en la publicidad: comentario del art. 22 de la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación. IgualdadES, 9, 107-141. Disponible en: https://doi.org/10.18042/cepc/IgdES.9.04. |
|
|
Amorós Puente, C. (2002). Pensar filosóficamente desde el feminismo. Debats: revista de cultura, poder i societat, 76, 66-80. |
|
|
Araiz Ugarte, D. E. (2022). Primera regulación (y primera controversia) de la inteligencia artificial para el Sector Público español. LegalToday, 08-09-22. Disponible en: https://tinyurl.com/4vv52w3j. |
|
|
Cernadas García, E. y Calvo Iglesias, E. (2022). Perspectiva de género en inteligencia artificial, una necesidad. Cuestiones de Género: de la Igualdad y la Diferencia, 17, 111-127. Disponible en: https://doi.org/10.18002/cg.i17.7200. |
|
|
Cobo Bedía, R. (2008). El género en las ciencias sociales. En P. Laurenzo; M. L. Maqueda, y A. M. Rubio (coords.). Género, violencia y derecho (pp. 249-258). Valencia: Tirant lo Blanch. |
|
|
Edgerton, A. y Deutsch, J. (2023). ChatGPT Risks Divide Biden Administration over EU’s AI Rules. Bloomberg, 31-05-23. Disponible en: https://tinyurl.com/4dj44nsr. |
|
|
Fernandez de la Morena, B. (2019). Discriminación algorítmica. Madrid : Universidad Autónoma de Madrid. Disponible en: https://tinyurl.com/5n6ba846. |
|
|
Fernández Hernández, C. (2022). La UE negociará con el Consejo de Europa un convenio sobre Inteligencia artificial y derechos humanos. Diario La Ley, 5-12-2022. Disponible en: https://diariolaley.laleynext.es/. |
|
|
Fernández Hernández, C. (2023a). El Consejo de Europa presenta su borrador de Convenio internacional sobre Inteligencia Artificial. Diario La Ley, 17-02-2023. Disponible en: https://diariolaley.laleynext.es/. |
|
|
Fernández Hernández, C. (2023b) El G7 se compromete a colaborar en la elaboración de un marco regulatorio común para la IA, aunque reconoce diferencias de enfoque entre sus miembros. Diario La Ley, 22-05-2023. Disponible en: https://tinyurl.com/3uud3wp5. |
|
|
Fernández Hernández, C. (2023c) La Unión Europea y Estados Unidos avanzan en la elaboración de estándares comunes en materia de inteligencia artificial. Diario La Ley, 02-06-2023. Disponible en: https://tinyurl.com/bdee4e89. |
|
|
Fernández Hernández, C. (2023d). El Consejo de Europa avanza en la redacción de un Convenio Internacional sobre Inteligencia Artificial. Diario La Ley, 19-07-2023. Disponible en: https://diariolaley.laleynext.es/. |
|
|
Ferrajoli, L. (2022). Por una Constitución de la Tierra. La humanidad en la encrucijada. Madrid: Trotta. |
|
|
Flores Anarte, L. (2023). Sesgos de género en la inteligencia artificial: el Estado de derecho frente a la discriminación algorítmica por razón de sexo. Revista Internacional de Pensamiento Político, 18, 97-122. Disponible en: https://tinyurl.com/2s3965ym. |
|
|
Habermas, J. (1999). La inclusión del otro. Estudios de teoría política. Barcelona: Paidós. |
|
|
Molina, C. (2020). Patriarcado. En R. Cobo, y B. Ranea (eds.). Breve diccionario de feminismo. (pp. 183-185). Madrid : Los Libros de la Catarata. |
|
|
Ortiz de Zárate Alcarazo, L. (2023). Sesgos de género en la inteligencia artificial. Revista de Occidente, 502, 2023. Disponible en: https://tinyurl.com/2wku34ax. |
|
|
Pimentel Cavalcante, A. (2023). Regulación brasileña de la inteligencia artificial. Revista de la Facultad de Derecho de México, 73, 287. Disponible en: https://doi.org/10.22201/fder.24488933e.2023.287.86399. |
|
|
Ramírez, M. (2023). Helen Margetts, politóloga y experta en tecnología: «La nueva generación de IA mejorará todo tipo de procesos democráticos». elDiario.es, 01-07-2023. Disponible en https://tinyurl.com/2h9bj3ht. |
|
|
Rivas Velasco, M. J. (2023). Uso ético de inteligencia artificial en justicia. Diario La Ley, 13-07-2023. Disponible en: https://tinyurl.com/4537acrz. |
|
|
Rodríguez Álvarez, A. (2023). La tutela procesal en la Ley integral para la igualdad de trato y la no discriminación. IgualdadES, 9, 175-204. Disponible en: https://doi.org/10.18042/cepc/IgdES.9.06. |
|
|
Senent Julián, R. M. y Bueso Acevedo, D. (2022). La banalidad del mal (automatizado): reflexiones críticas sobre el conocimiento peligroso en la investigación del aprendizaje automático. Recerca, Revista de Pensament i Anàlisi, 27(2), 1-26. Disponible en: https://tinyurl.com/5a7v7fvu. |
|
|
Senent Vidal, M. J. (2018). Igualdad efectiva en la responsabilidad social de las empresas. En A. Ventura y S. García (dirs.). El derecho a la igualdad efectiva de mujeres y hombres: una evaluación del primer decenio de la Ley Orgánica 3/2007 (pp. 885-918). Madrid: Thomson Reuters Aranzadi. |
|
|
Senent Vidal M. J. y Ventura Franch, A. (2024). Aplicación de la perspectiva de género a la regulación de los sistemas de inteligencia artificial. En E. Gonzalez y J. C. Siurana (eds.). Inteligencia artificial. Concepto, alcance, retos (347-375). Valencia: Tirant Humanidades. |
|
|
Soriano Arnanz, A. (2022). El uso de la inteligencia artificial en la selección y gestión del personal de las administraciones públicas. Revista Documentación Administrativa, 9, 11-25. Disponible en: https://tinyurl.com/48fbcub5. |
|
|
UNESCO (2020). Artificial intelligence and gender equality. Key findings of UNESCO’s Global Dialogue. Disponible en: https://tinyurl.com/bdkcydpa. |