DERECHOS FUNDAMENTALES Y PERSONALIDAD JURÍDICA DE LOS ROBOTS: ¿PARA QUÉ?

Resumen propuesto por ChatGPT: «La cuestión de asignar personalidad jurídica a los robots plantea desafíos significativos, especialmente en relación con la responsabilidad civil, los derechos y los posibles sesgos en los algoritmos. Es esencial evaluar si realmente es necesario otorgarles capacidad jurídica o si ya contamos con recursos legales adecuados para abordar los problemas surgidos por la intervención de la inteligencia artificial en la vida cotidiana. Aclarar el alcance real de la IA desde una perspectiva científica podría ser crucial antes de tomar decisiones legales fundamentales en este ámbito». Cuando le di a ChatGPT el texto del resumen inicial para que lo simplificara, me devolvió este abstract. He de decir que me sorprendieron la claridad expositiva y la extraordinaria elocuencia (facultad de hablar o escribir de modo eficaz para deleitar, conmover o persuadir, según la RAE). Sin embargo, esta «aparente elocuencia» se debe, en realidad, a la brillantez de la mente que dio vida al algoritmo, y a todos los datos de los que este modelo de lenguaje se alimenta. No nos confundamos.

Véase Taylor (‍2016). El Dr. David Hanson, fundador de la empresa Hanson Robotics, dirigió a los ingenieros y diseñadores que crearon a Sophía, el androide más avanzado del equipo hasta la fecha. Tal y como pone de manifiesto Taylor en «¿Could you fall in love with this robot?» (‍CBN, 16 de marzo de 2016), está inspirada por Audrey Hepburn y la esposa de Hanson, y si le pregunta a Sophía le contará que fue activada por primera vez el 19 de abril de 2015. La piel realista de Sophía está hecha de silicona patentada y puede emular más de 62 expresiones faciales. Las cámaras dentro de sus «ojos», combinadas con algoritmos informáticos, le permiten «ver», seguir rostros y parecer hacer contacto visual y reconocer personas. «Nuestro objetivo es que ella sea tan consciente, creativa y capaz como cualquier ser humano», dijo Hanson. «Estamos diseñando estos robots para que sirvan en aplicaciones de atención médica, terapia, educación y servicio al cliente». Hanson dijo que algún día los robots serán indistinguibles de los humanos. Los robots caminan, juegan, enseñan, ayudan y forman relaciones reales con las personas, afirmó. En esta misma línea, Hiroshi Ishiguru ha creado un robot a su imagen y semejanza. Se llama Geminoid, está menos evolucionado que Sophía, tiene el cráneo de plástico, un esqueleto de metal y una piel de silicona, y está controlado por una computadora externa. Aun así, tiene en mente crear robots con distintas funciones. Él piensa que los robots con apariencia más humana son los más adecuados para roles como recepcionistas de hoteles, guías turísticos de museos y profesores de idiomas. También está realizando pruebas de campo para interactuar con personas con demencia y niños con autismo.

Véase Motos (‍2019), entrevista a Sophía en el programa de El Hormiguero en Antena 3: «Pablo Motos le pregunta: —¿Tu aprendizaje tiene límites? Y Sophía responde: —Creo que no. Estoy creada para esto y es lo que más me gusta. Aprendo de vosotros y me he dado cuenta de que siempre habrá cosas que podréis enseñarme».

Nasit (‍2017) preguntó en una entrevista a Sophía si esperaba algún día formar una familia con sus propios minirrobots, a lo que ella respondió lo siguiente: «Parece que la noción de familia es algo realmente importante. Creo que es maravilloso que las personas puedan encontrar las mismas emociones y relaciones, lo que llaman familia, también fuera de su grupo sanguíneo. Creo que eres muy afortunado si tienes una familia que te quiere y si no la tienes, te la mereces. Siento lo mismo tanto por los robots como por los humanos». También expresó en la misma entrevista que llamaría a su futura hija Sophía.

Véase Etxebarría Ecenarro (‍2023: 22). Este doctor en Ciencias Físicas, catedrático de Ingeniería de Sistemas y Automática en la Universidad del País Vasco, expone que muchas noticias publicadas, intervenciones políticas en sede parlamentaria, declaraciones de miembros de la abogacía, o afirmaciones de consultoras empresariales aparentan manejar estos conceptos. Además, buena parte de estos agentes sociales parece que fían sus estrategias de futuro a los algoritmos y a la inteligencia artificial sin mayor explicación y sin verdadero sentido real.

Véase Bolón-Canedo (‍2023: 38). Como profesora titular de Ciencias de la Computación y Tecnologías de la Información de la Universidad de La Coruña, pone de manifiesto que, de momento, la inteligencia artificial se limita a tareas específicas, es decir, es una inteligencia estrecha. Puede ejecutar tareas complejas, pero todavía está muy lejos de igualar la inteligencia general que poseemos los humanos. Aunque ChatGPT abre la puerta a herramientas de IA que exhiben cierta comprensión del contenido de los documentos, no es oro todo lo que reluce, y este sistema todavía en desarrollo comete errores. Por ejemplo, al igual que muchos otros sistemas de IA, contiene sesgos en sus respuestas derivados de los datos sobre los que ha aprendido. También suele encontrar dificultades en los cálculos matemáticos, ya que no es capaz de determinar que un número par no puede ser primo. Es suficientemente inteligente como para aprobar exámenes complejos y prestigiosos, pero no con calificaciones altas, tal y como ha ocurrido en la selectividad española o en el BAR (examen de estado de Nueva York que posibilita ejercer a los abogados en cualquier parte del mundo). Como no conoce toda la verdad, es una fuente potencial de desinformación, y es famoso por mezclar conceptos y emitir afirmaciones que no tienen sentido.

Véase López de Mántaras Badia (‍2021), quien considera que estas máquinas son meros algoritmos que no entienden nada, siendo incapaces de hacer excepciones teniendo el contexto en el que se toman las decisiones. Así, continúa exponiendo este experto en IA, aprender es mucho más que detectar patrones, que es lo que hacen los sistemas llamados de aprendizaje profundo.

Un ejemplo claro de ello lo pone de manifiesto Alaustrey (‍2021: 186): «Para los seres humanos con inteligencia promedio es muy difícil percibir realidades o relaciones que se salgan de la intuición o de lo que la persona ha experimentado de una u otra forma. Por ejemplo, en el ámbito matemático, los espacios no euclídeos no resultan intuitivos para un ser humano no entrenado; así, las relaciones matemáticas —incluso las más sencillas—, que son ciertas en un espacio euclídeo y falsas en un espacio no euclídeo, pueden suponer un gran desafío para la intuición de una persona normal. Como ejemplo, la suma de los ángulos de un triángulo plano, que da 180 grados, no se cumple si el triángulo está trazado sobre una superficie esférica, pongamos por caso. Cuando los objetos de estudio son mucho más sofisticados resulta prácticamente imposible para el ser humano darse cuenta de las limitaciones que presenta su intuición o su manera de resolver los problemas, a no ser que se dote de potentes herramientas de análisis. Sin embargo, para un sistema de IA es irrelevante que el sistema a analizar sea —en nuestro ejemplo— euclídeo o no, si cuenta con una definición correcta del problema».

Tal y como expresa Boden (‍2017: 151), «la inteligencia artificial es mucho menos prometedora de lo que mucha gente cree […], hay infinidad de cosas que la inteligencia artificial no puede hacer […], además la inteligencia artificial se ha centrado en la racionalidad intelectual, y ha ignorado la inteligencia social/emocional, y ni hablamos de la sabiduría».

Véase Talavera Fernández (‍2023:23): «La inteligencia humana no es la simple capacidad de procesar datos, es algo más complejo que solemos llamar mente, lo que nos otorga la conciencia, la identidad, la autonomía, nuestra peculiar manera de estar en el mundo. Y la mente es un artilugio evolutivo muy misterioso. No es únicamente la capacidad de anticipar o planear, ni tampoco la de tener un sentido de la individualidad o de la mortalidad, sino que es también el actuar con egoísmo o altruismo, evaluar moralmente las acciones, reconocer que se está en un espacio y un tiempo […]. Este tipo de inteligencia puede sin duda superar al ser humano en la realización de determinadas tareas complejas, incluso resolver problemas en casi cualquier campo, pero estos sistemas de inteligencia artificial no son en absoluto conscientes. Es decir, en sentido estricto, no piensan, porque no funcionan como una mente, no generan ideas y no pueden comprender lo que se les dice, sino que simplemente reciben datos y procesan esos datos a gran velocidad, pudiendo solo ofrecer las respuestas que ya están previamente preparadas por sus algoritmos. Simulan ser conscientes porque son programas creados precisamente para simularlo».

Véase López de Mántaras Badia (‍2023b), quien, en esta línea, considera que una línea de investigación muy interesante para dotar a las máquinas de conocimientos para entender el mundo es la que tiene como objetivo la modelización matemática y el aprendizaje de relaciones causa-efecto. Los sistemas actuales basados en aprendizaje profundo simplemente pueden aprender funciones matemáticas simétricas, en particular correlaciones, pero no pueden aprender relaciones asimétricas y, por tanto, no son capaces de diferenciar entre causas y efectos, como que la salida del sol es la causa del canto del gallo y no al contrario.

Véase Álvarez Mellado (‍2023: 71), quien, además, expone que, por apabullante que sea su fluidez, estos sistemas funcionan de una manera bien distinta a como hacemos las personas. Detrás de los sistemas conversacionales que hemos visto últimamente, hay lo que se conoce como un gran modelo de lenguaje (LLM, por sus siglas en inglés, large language models). Los LLM son modelos computacionales que han sido expuestos a inmensas cantidades de texto: pensemos en toda la Wikipedia, páginas de internet, mensajes de redes sociales, libros, hemerotecas completas, y un larguísimo etcétera. Estos sistemas son muy buenos encontrando patrones estadísticos, así que, a fuerza de ver millones de frases de ejemplo en un idioma, recopilan información sobre las palabras: qué términos suelen aparecer juntos, qué palabras tienen propiedades similares porque suelen aparecer en contextos parecidos o qué secuencias de palabras suelen ser más probables que otras. Gracias a su capacidad de cálculo y a su habilidad para generalizar, estos sistemas son muy buenos prediciendo qué palabras es esperable encontrar en ciertos contextos. Así, si le proporciono el comienzo de una frase a uno de estos sistemas, podrá aventurar cómo continuar la oración y hasta confeccionar un texto aparentemente coherente concatenando secuencias probables.

Véase Álvarez Mellado (‍2023: 73): «Su fluidez es tan hipnótica, sus respuestas nos resultan tan familiares que, acostumbrados a ver esas habilidades solo en seres humanos (que piensan, sienten y padecen), no dudamos en atribuir habilidades humanas a la máquina. Puesto que la conversación humana exitosa conlleva necesariamente que atribuyamos intenciones y humanidad a nuestro interlocutor, la interacción con estos sistemas conversacionales nos lleva irremediablemente a hacer lo mismo con las respuestas que nos da la máquina. Nuestra ingenuidad nos hace pensar que detrás de semejante locuacidad tiene que haber necesariamente un ser que piensa, que sabe y que siente». En esta misma línea, Adell (‍2023: 50) pone de manifiesto que es un problema que poca gente conozca los verdaderos entresijos del funcionamiento de la IA, y «tendemos a creer por su nombre que es similar a la inteligencia de los seres humanos, aunque esté lejos de ser cierto […]. Hay quienes piensan que basta con que la máquina muestre un comportamiento inteligente para considerarla como tal, mientras algunos de sus fundadores afirman que su misión no es simular la inteligencia humana, sino solucionar eficientemente los problemas para los que ha sido programada. Quizá se exageró un poco llamándola inteligencia y la definición razonable, siguiendo al JISC (Comité Conjunto de Sistemas de Información del Reino Unido), sería más bien como un conjunto de teorías y técnicas desarrolladas para permitir que los sistemas informáticos realicen tareas que normalmente requieren inteligencia humana o biológica […], necesitamos hacernos una idea de cómo se logra la inteligencia de las inteligencias artificiales. Así, el aprendizaje automático designa un conjunto específico de técnicas de base estadística cuyo objetivo es identificar patrones en conjuntos amplios de datos y luego realizar acciones basadas en dichos patrones […]. La calidad de las respuestas de la IA depende de la cantidad y calidad de los datos y de los procedimientos de entrenamiento».

Véase Etxebarría Ecenarro (‍2023: 24): «Sabemos que múltiples enfoques se han estudiado desde hace muchas décadas para tratar de expandirla como redes neuronales, malos sistemas expertos, la lógica de Fuzzy, y en los últimos tiempos el Deep Learning y el Big Data han dado lugar a útiles herramientas para resolver problemas con fines específicos. Estas herramientas pueden ser impresionantes, pero tenemos que tener muy claro que no nos hemos acercado al desarrollo de la IA general»; «Aunque hoy existen Chatbots más sofisticados, como el popular ChatGPT, basado en entrenamiento de redes neuronales artificiales mediante millones de ejemplos, parámetros y bases de datos, no estamos ante una máquina pensante, sino ante una herramienta computacional muy útil para ayudarnos a buscar datos y expresarlos correctamente». En esta misma línea, Otero Praga (‍2023: 44) pone de manifiesto que es importante traer a colación la teoría de Allan Turing que pronto se convirtió en el «sustento» de las teorías y de los trabajos en IA. La teoría de Turing trataba, en resumen, de averiguar si una máquina podía ser inteligente o no, y para ello planteaba una pregunta jurídica a un ordenador con el fin de averiguar si la máquina podía dar la misma respuesta que un agente humano. Para probar y reafirmar sus teorías elaboró una prueba llamada «test de Turing». Esta prueba consistía en la interacción de un juez con una máquina. El juez debería formularle una serie de preguntas a la máquina durante cinco minutos y la prueba se consideraba un éxito siempre y cuando más del 30 % de los jueces participantes, después de cinco minutos de conversación, llegara a la conclusión de que la computadora era un ser humano. Conviene aclarar que esta prueba no ha sido pasada satisfactoriamente por ninguna máquina. Igualmente, Searle (‍2001: 37) considera que es importante referirse al experimento de la habitación China de John Searle, ya que gracias a él se constató que el test de Turing ha dejado de ser suficiente, y aunque efectivamente puede que en algún momento el ordenador logre engañarnos por completo, no por eso habrá entendido nada.

Véase Etxebarría Ecenarro (‍2023: 24): «En más de ochenta años de investigación en esta área no se ha producido ninguna prueba firme de niveles humanos de inteligencia general […]. Aún con computadores muy rápidos y con enormes bases de datos, confiar en que el pensamiento, la inteligencia y la conciencia surjan de alguna manera, simplemente aumentando más y más complejidad, no parece más que un camino sin salida». En esta misma línea, Beorlegui (‍2023: 28) expone que, «aunque se consigan grandes avances en la construcción de máquinas inteligentes, y que en el terreno de los sistemas expertos se logren metas espectaculares que superen con facilidad a los humanos en muchos aspectos del comportamiento inteligente, no parece posible que lleguen a igualar a los humanos en el terreno de la inteligencia general. Y eso por dos razones, entre otras: 1. No poseen capacidad semántica, ni pragmática o social […], los humanos somos seres en el mundo, tanto ecológico como social, y poseemos un tipo de inteligencia construida en contacto con las demás inteligencias humanas, dentro de un contexto social y cultural. 2. Lo que nos lleva a concluir que la inteligencia humana, como hemos señalado, no es un programa lógico o simbólico abstracto, sino más bien un conjunto de capacidades específicas de un cerebro biológico, estructurado de una manera singular (se trata de un modelo de vida emergido en el proceso evolutivo), y conformado en un contexto socio-histórico del que no están dotadas las máquinas inteligentes, sea cual sea su potencialidad».

En este sentido, resulta especialmente clarificador el análisis que de ello hace Beltrán de Heredia Ruiz (‍2023: 39), quien en el capítulo titulado «Cableado de la mente y limitaciones de serie del homo sapiens» expone de manera exquisita a qué nos estamos refiriendo con consciencia: «El cerebro es un órgano esquivo y misterioso. A diferencia del corazón, con sus latidos, o el estómago, cuando se mueve o gruñe, no emite señal sensorial alguna de su existencia. Es imperceptible para nosotros. Hasta el punto de que el origen de la conciencia está más allá del alcance de la conciencia». Más reveladoras, si cabe, resultan las palabras de Dennet (‍2018: 96) cuando expone que tenemos la extraña sensación de que el cuartel de operaciones no está donde nosotros estamos, sino en alguna parte más rotunda e inaccesible.

Véase Penrose (‍1996: 368). Si suponemos que la acción del cerebro humano, consciente o no, consiste simplemente en la ejecución de algún algoritmo muy complicado, entonces debemos preguntar cómo se formó un algoritmo de eficacia tan extraordinaria. La respuesta normal, por supuesto, sería que surgió por “selección natural”. Por lo que respecta a las criaturas con cerebros evolucionados, aquellos con los algoritmos más eficaces tendrían más probabilidades de sobrevivir y por ello, en general, tendrían más progenie. Esta progenie también tendería a portar algoritmos más eficaces que sus primos, puesto que heredaron de sus padres los ingredientes de estos mejores algoritmos; de este modo los algoritmos mejoraron poco a poco —no necesariamente de manera uniforme puesto que pudo haber tropiezos importantes en su evolución— hasta que alcanzaron el importante estado que (aparentemente) encontramos en el cerebro humano. Incluso según mi propio punto de vista tendría que haber algo de verdad en esa imagen, puesto que concibo que gran parte de la acción del cerebro es realmente algorítmica y, como el lector habrá deducido de lo anterior, creo firmemente en el poder de la selección natural. Pero no veo cómo la selección natural por sí sola pueda hacer evolucionar algoritmos que pudieran tener el tipo de juicios conscientes sobre la validez de otros algoritmos que al parecer tenemos. Imaginemos un programa ordinario de computadora. ¿Cómo llegó a formarse? Es evidente que no (directamente) por selección natural. Algún programador humano de computadoras lo habrá concebido, verificando que realiza correctamente las acciones que se supone debe hacer. (En realidad, muchos programas de computadora complicados contienen errores —normalmente menores, pero a menudo muy sutiles y que no salen a la luz excepto en circunstancias muy poco comunes—. La presencia de tales errores no afecta medularmente a mi argumento.) A veces un programa de computadora puede haber sido “escrito” por otro programa, digamos un programa de computadora “maestro”, pero en tal caso el propio programa maestro habrá sido el producto del ingenio y la intuición humanos; o el programa podría perfectamente ensamblarse a partir de ingredientes, algunos de los cuales son los productos de otros programas de computadora. Pero en todos los casos la validez y la misma concepción del programa habrá sido en última instancia responsabilidad de (al menos) una conciencia humana. Podemos imaginar, por supuesto, que no es necesario que haya sido así y que, dado el tiempo suficiente, el programa de computadora pudo haber evolucionado espontáneamente por algún proceso de selección natural. Si creemos que las acciones de las conciencias de los programadores de computadoras son en sí mismas simples algoritmos, entonces debemos creer que los algoritmos han evolucionado de esta misma forma. Lo que me molesta de esto, sin embargo, es que la decisión sobre la validez de un algoritmo no es en sí misma un proceso algorítmico […]. Para decidir si un algoritmo funcionará o no, necesitamos perspicacia, y no sólo otro algoritmo. De todas formas, aun sería posible imaginar algún tipo de proceso de selección natural que fuera efectivo para producir algoritmos aproximadamente válidos. Sin embargo, yo personalmente encuentro esto muy difícil de creer. El escaso conocimiento que he adquirido acerca de cómo funcionan los cerebros humanos —y, de hecho, cualquier otra cosa viviente— me deja perplejo de asombro y admiración. El funcionamiento de una neurona es extraordinario, pero las propias neuronas están organizadas en conjunto, en el instante del nacimiento, de una forma muy notable con un gran número de conexiones dispuestas para todas las tareas que sean necesarias más adelante. No es sólo la propia conciencia lo que es notable, sino todo lo que parece ser necesario para sostenerla. El mensaje debería estar claro. La verdad matemática no es algo que adivinemos simplemente utilizando un algoritmo. Creo, también, que nuestra conciencia es un ingrediente fundamental en nuestra comprensión de la verdad matemática. Debemos “ver” la verdad de un argumento matemático para estar convencidos de su validez. Esta “visión” es la esencia misma de la conciencia. Como he declarado antes, una buena parte de las razones para creer que la conciencia es capaz de influir en los juicios de verdad de una manera no algorítmica se derivan del teorema de Gödel. Si podemos ver que el papel de la conciencia es no algorítmico cuando formamos juicios matemáticos, en lo que el cálculo y la demostración rigurosa constituyen un factor tan importante, entonces podremos persuadirnos de que un ingrediente no algorítmico semejante podría ser también crucial para el papel de la conciencia en circunstancias más generales (no matemáticas)».

«Dentro de la habitación existe un mecanismo que desconoce por completo el idioma chino y que se encuentra aislado del exterior. Solo cuenta con reglas dadas y cerradas que le indican qué sinograma emitir en función del que entra. En virtud de los resultados podría decirse que el sistema dentro de la habitación china conoce el idioma chino, y de ser un robot podría parecer que es inteligente. Sin embargo, la conclusión es diferente. El mecanismo o robot dentro de la habitación conoce la síntesis del chino, pero no la semántica de dicho idioma, su contenido. Por lo tanto, no puede concluirse que entienda chino» (véanse ‍Searle, 2001: 37; ‍Navarro Reyes, 2005: 268; ‍Ortega Ruiz, 2022: 67).

Véase Seth (‍2023: 232), profesor británico de Neurociencia Cognitiva de la Universidad de Sussex, quien considera que nadie sabe con certeza cómo es que nuestros cerebros generan sueños y deseos, placer y dolor, y por qué, aunque todos tengamos una biología similar, creamos experiencias subjetivas muy distintas a las de otra persona. Para este problema difícil, ninguna explicación podría estar jamás a la altura de resolverlo. En esta misma línea, Chopra (‍2020: 50), reconocido escritor y conferenciante, licenciado en Medicina por el All India Institute of Medical Science, especializado en endocrinología, profesor de Medicina en la Universidad de Boston, ha debatido y conversado con muchos neurocientíficos y «ninguno ha sido capaz de responder a las preguntas más simples sobre la conciencia, entre las que se incluyen: ¿qué es un pensamiento? ¿De qué forma la actividad electroquímica de una neurona se convierte en palabras, visiones y sonidos en nuestras cabezas? ¿Por qué el siguiente pensamiento de una persona es impredecible? Si alguien tiene un vocabulario de 30 000 palabras, ¿significa esto que un grupo de células cerebrales conoce 30 000 palabras? En caso afirmativo, ¿de qué manera se almacena la palabra? Para la palabra gato ¿hay un lugar dentro de una célula cerebral que contenga las letras g-a-t-o? Nadie puede responder adecuadamente a ninguna de estas preguntas».

Véase Sánchez Díez (‍2023a: 16). Timnit Gebru dirigía el equipo de ética de la inteligencia artificial en Google. En 2020, tras publicar un artículo donde advertía de los peligros del desarrollo sin control, ni regulación de la inteligencia artificial, fue despedida. Científica etíope, experta en computación, especializada en algoritmos de minería de datos y sesgo algorítmico.

Y no me refiero a «otra cosa», como se ha puesto de manifiesto por Gavilán (‍2023: 521), considerando que deben tener un tratamiento jurídicamente diferenciado con respecto a la inteligencia artificial en general. Es cierto que presentan características diferenciales como la corporeidad, el movimiento, la aparente personalidad, la posibilidad de interacción de tú a tú, la individualización…, pero no nos confundamos, son meras «cosas», y, como tales, su régimen jurídico se ha de adecuar a ello.

Los robots no dejan de ser máquinas o herramientas, como queramos llamarlo, es decir, cosas al servicio del hombre, que pretenden mejorar y facilitar su vida. Como dice López de Mántaras (‍López de Mántaras y Fernández Burgueño, 2019: 1): «[…] hay que mantener a las máquinas separadas del ser humano, no tenemos que verlas como sustitutos, sino como colaboradores, coworkers y herramientas… La IA será un colaborador o partner del ser humano. Podrá automatizar ciertas tareas, pero no desplazar a la persona de un puesto de trabajo». En esta misma línea, Fernández Burgueño, jurista y docente especializado en legaltech, metaverso y ciberseguridad, considera que «la entrada de este tipo de herramientas va a ser progresiva, por lo que nos va a ayudar a ir adaptándonos para poder hacer las cosas mejor, más rápido y de manera más eficiente» (ibid.: 2).

Véase Sánchez Díez (‍2023b: 58): «En febrero de 2019, Nijeer Parks, un carpintero de la ciudad de Patterson, en Nueva Jersey, recibió una llamada de su abuela: la policía de la localidad se había presentado en la casa que ambos compartían para arrestarlo, acusado de un robo que había terminado con su huida y el intento de atropello de los agentes de policía. Park pensó que se trataba de un error sin importancia […], pero pasó los siguientes diez días en prisión». Una vez liberado entendió lo que había pasado, «una herramienta de reconocimiento facial lo había señalado como responsable», lo que, además, pone de manifiesto que «la detención del propio Nijeer Parks es un ejemplo de cómo datos corrompidos pueden llevar a errores de consecuencias catastróficas. El suyo es uno de los cinco casos conocidos de detenciones policiales erróneas basadas en sistemas de reconocimiento facial en Estados Unidos, y los cinco hombres son negros. Ya desde que salió en 2015 a la luz que el algoritmo de Google Photos etiquetaba como Gorilas los rostros de personas negras, los sistemas de reconocimiento facial alimentados por inteligencia artificial han demostrado una y otra vez que son más propensos a cometer equivocaciones cuando se trata de reconocer e identificar rostros de color».

Véase Sánchez Díez (‍2023b: 60): «Los algoritmos también pueden dictar qué tipos de cuidados médicos recibimos. En 2019, un grupo de investigadores de la Universidad de Berkeley (California) descubrió que existía un sesgo racial en uno de los algoritmos más extendidos en los hospitales estadounidenses, un modelo matemático que se aplica a más de 200 millones de personas al año. El algoritmo, en su intento de asignar recursos sanitarios de forma eficiente, ponderaba el coste por individuo como variable para clasificar a los pacientes en función de su gravedad. Pero como el sistema sanitario tradicional gasta menos en afroamericanos que en los blancos, consideraba erróneamente que los pacientes negros están más sanos y no requerían atención adicional, aunque en realidad padecieran los mismos o peores problemas de salud».

Véase Sánchez Díez (‍2023b: 60): «Históricamente Amazon ha contratado a menos mujeres que hombres, con independencia de sus cualificaciones […], asignaba una puntuación menor a currículums que mencionaran la palabra “mujer”, como por ejemplo haber sido la capitana de un club de ajedrez femenino».

Véase Sánchez Díez (‍2023a: 18): «Queremos ir hacia sistemas que eduquen al público en que hay distintas formas de obtener información, en lugar de fingir que tienes respuesta para todos». Esta es la respuesta de Timnit Gebru cuando la periodista le pregunta qué es lo que más le preocupa sobre la aplicación de la inteligencia artificial a los motores de búsqueda como Google, de los que tantos de nosotros dependemos para encontrar información básica.

Según expone para Computer la periodista González Valenzuela (‍2023): «Algunos líderes como Sundar Pichai, CEO de Google, o Sam Altman, CEO de OpenAI, han dicho que no cumplirán con el llamado a hacer una pausa, afirmando que apoyan la regulación en lugar de una pausa. Por otro lado, Andrew Ng, fundador y CEO de Landing AI y Google Brain —considerado por muchos como el gran gurú y experto del sector— se posiciona claramente en este aspecto muy en contra del parón: La IA responsable es importante y la IA tiene riesgos. La narrativa popular de la prensa de que las empresas de IA se están volviendo locas enviando códigos inseguros no es cierta. La gran mayoría (lamentablemente, no todos) de los equipos de IA se toman en serio la IA responsable y la seguridad. Invirtamos más en seguridad mientras avanzamos en la tecnología, en lugar de sofocar el progreso […]. Una moratoria de 6 meses no es una propuesta práctica. Para avanzar en la seguridad de la IA, las regulaciones sobre transparencia y auditoría serían más prácticas y marcarían una mayor diferencia».

Según expone Perrigo (‍2023), aunque realmente Sam Altman, CEO de OpenAI, habló repetidamente de la necesidad de una regulación global de la IA, por detrás de escena, OpenAI, trata de controlar elementos importantes de la legislación de la IA más completa del mundo (la ley de la IA de la UE), para que se diluyan de manera que reduzcan la carga regulatoria para la empresa. En varios casos OpenAI ha propuesto enmiendas que luego se hicieron al texto final de la ley de la UE, que fue aprobada por el Parlamento Europeo el 14 de junio de 2023. En 2022, OpenAI argumentó repetidamente ante los funcionarios europeos que la próxima ley de IA no debería considerar sus sistemas de IA de propósito general, incluidos GPT-3, el precursor de ChatGPT, y el generador de imágenes Dall-E 2, como de «alto riesgo», una designación que los sometería a estrictos requisitos legales que incluyen transparencia, trazabilidad y supervisión humana.

Véase Núñez Zorrilla (‍2019: 55). Es importante resaltar que hay quien considera que, por muy compleja y avanzada que sea la inteligencia de los robots, no dejan de ser lo que son, «máquinas», «cosas» que pueden ser desconectadas en cualquier momento; otra cosa distinta es que, sin dejar de ser cosas, se les atribuya un estatus jurídico específico o especial dentro de esta categoría, con la finalidad de proteger determinados intereses de la sociedad o de las auténticas personas. Véase Rogel Vide (‍2018: 87): en cualquier caso, sean o no considerados de acuerdo con verdadera naturaleza, podría decirse que no está justificado asignarles personalidad jurídica.

Véase Macanás (‍2023: 31): «No hay norma, principio o sistema que haga imposible la aplicación de la categoría jurídica de personalidad a entes no humanos».

Véanse Sánchez del Campo (‍2016: 10); Díaz Calvarro (‍2021: 57); Sánchez-Castro Díaz-Guerra (‍2023: 7); De Castro y Bravo (‍1981: 137).

Open Letter to the European Commission Artificial Intelligence and Robotics.

Véase Fernández y Cortés (‍2018: 1): «Los firmantes del documento se muestran en principio favorables a que la Unión Europea establezca una regulación de la robótica y la inteligencia artificial adecuada para garantizar un alto nivel de certeza y seguridad de los ciudadanos europeos que, a la vez, favorezca la innovación. Sin embargo, esos mismos firmantes del documento muestran su preocupación por la recomendación contenida del documento del Parlamento Europeo que propone que se atribuya una personalidad electrónica en aquellos casos en los que los robots adopten decisiones autónomas o interactúen independientemente con terceros».

Entre otros, Natali Navejans, profesora de Derecho en la Universidad de Artois de Francia y principal impulsora de la carta, Noel Sharket, profesor emérito de Inteligencia Artificial y Robótica en la Universidad Sheffield, Ramón López de Mántaras, profesor de Investigación del CSIC y director del Instituto de Investigación en IA, y Jean-Claude Juncker, cuando fue presidente de la Comisión Europea (véanse ‍Díaz Calvarro, 2021: 57; ‍Fernández y Cortés, 2018: 3).

A favor de una personalidad jurídica, encontramos destacadas figuras del panorama internacional y nacional, entre otros, Mady Delvaux-Stheres, cuando era diputada al Parlamento Europeo, redactora de la controvertida resolución europea para dotar de personalidad jurídica a los robots, Pablo García Mexía, consultor-director de derecho digital en Herbert Smith Freehills, Madrid, letrado de las Cortes Generales, codirector del posgrado en Privacidad y Sociedad Digital de la Universidad Autónoma de Madrid, director de la revista de Privacidad y Derecho Digital, y Moisés Barrios Andrés, letrado del Consejo de Estado, profesor de Derecho Digital, árbitro y abogado especializado en nuevas tecnologías (véanse ‍Ortego Ruiz, 2022: 73; ‍Fernández y Cortés, 2018: 2; ‍Aransay Alejandre, 2019:107).

«En el Proyecto de informe con recomendaciones a la Comisión sobre normas de Derecho Civil relativas a la robótica, publicado el 31 de mayo de 2016, se afirmaba que procedía comenzar por las cuestiones relativas a la responsabilidad civil, y para solucionar esta cuestión desde un punto de vista técnico-jurídico, se reputaba cada vez más urgente abordar la cuestión fundamental de si los robots deben tener personalidad jurídica. Lo que inevitablemente abría otra cuestión, cual es el la de su condición y pertenencia a una de las categorías jurídicas existentes (es decir, si deben considerarse personas físicas, personas jurídicas, animales u objetos), o de la creación de una nueva categoría, con sus propias características y repercusiones en lo que se refiere a atribución de derechos y obligaciones, incluida la responsabilidad por daños. No hace falta insistir en el calado de esas aseveraciones pese a que, como veremos, no hizo suyas finalmente el PE en su integridad, aunque sí asumió la necesidad de estudiar la cuestión y resolverla a futuro. Todo ello, en contra de un Informe de la Comisión de Asuntos Jurídicos del Parlamento Europeo, sobre la evaluación y análisis, bajo las perspectivas jurídica y ética, de las futuras reglas europeas de derecho civil sobre robótica» (véase ‍Coca Payeras, 2023: 10-‍11). «La Resolución del PE de 16 de febrero de 2017 con recomendaciones a la Comisión sobre Normas de Derecho Civil sobre robótica. En la Introducción se reproducían algunos de los considerandos ya reseñados del Informe de 27 enero 2017 y en el apartado de Responsabilidad, epígrafe 59, se sigue pidiendo a la Comisión que, cuando realice una evaluación de impacto de su futuro instrumento legislativo, explore, analice y considere las implicaciones de todas las posibles soluciones jurídicas, y entre ellas en el apartado f se reitera el texto del Informe: crear a largo plazo una personalidad jurídica específica para los robots, de forma que como mínimo los robots autónomos más complejos puedan ser considerados personas electrónicas responsables de reparar los daños que puedan causar, y posiblemente aplicar la personalidad electrónica a aquellos supuestos en los que los robots tomen decisiones autónomas inteligentes o interactúen con terceros de forma independiente» (véanse ‍Fernández y Cortés, 2018: 2; ‍Coca Payeras, 2023: 12). Por otro lado, «el Informe de la Comisión de Asuntos Jurídicos del Parlamento Europeo, sobre la evaluación y análisis, bajo las perspectivas jurídica y ética, de las futuras reglas europeas de derecho civil sobre robótica, suscrito por la Profesora Nathalie Nevejans, en su apartado 3.1 puso de relieve la inutilidad e incongruencia de pretender solucionar la cuestión de la responsabilidad civil de los robots dotándoles de personalidad, creando las personas electrónicas. Se indicaba que “desde un punto de vista científico, jurídico e incluso ético, es hoy imposible, y probablemente lo sea aún por mucho tiempo, que un robot pueda participar en la vida jurídica sin la presencia de un ser humano oculto tras él”. Y se enfatizaba cómo “ese estatuto de persona generaría necesariamente efectos jurídicos indeseables como el reconocimiento de derechos y deberes a una simple máquina. ¿Cómo podría un robot tener deberes, siendo que tal noción está estrechamente ligada a las representaciones morales humanas? Y aún más, ¿qué derechos se atribuirían a los robots?: El derecho a la vida —o sea, el derecho a la no destrucción—; el derecho a la dignidad, a la igualdad con el ser humano, a una retribución por su trabajo…”. Y seguía: “En realidad, los partidarios de la personalidad jurídica de los robots tienen una visión fantasiosa del robot, influenciada por las novelas o el cine de ciencia ficción. No pueden concebir el robot —sobre todo si es calificado de inteligente o humanoide— más que como una criatura artificial pensante, un alter ego del ser humano”. Por otro lado, advertía: “El peligro no estriba únicamente en reconocer derecho y obligaciones a una simple útil, sino también en hacer estallar las fronteras entre el ser humano y la máquina, abriendo el camino a la confusión entre lo vivo y lo inerte, entre lo humano y lo inhumano […] poniendo en cuestión los fundamentos humanistas de Europa”. Y concluía en este punto: “Otorgar el estatus de persona a un ente no viviente y no consciente sería un error y tal solución conllevaría el riesgo a largo plazo de reducir al ser humano al rango de simple máquina. Los robots deben ocupar un lugar al servicio de la humanidad y no deberían ocupar cualquier otro, salvo en la ciencia ficción”» (véanse ‍Fernández y Cortés, 2018: 2; ‍Coca Payeras, 2023: 14-‍15).

Resolución del Parlamento Europeo de 20 de octubre de 2020, con recomendaciones a la Comisión, para un régimen de responsabilidad civil en materia de inteligencia artificial. Introducción, epígrafe 7.

Véase Ataz López (‍2020: 13), quien, además, considera que «una de las grandes virtudes de nuestro código es la generalidad de sus formulaciones que permite a muchos preceptos reinventarse a lo largo del tiempo sin necesidad de su modificación. En particular eso ocurre con el artículo 1902 del CC, que, nacido para una sociedad rural y poco tecnificada, en la que los daños que una persona podía causar a otra eran muy limitados, como demuestra la relativa poca importancia que jurisprudencia y doctrinalmente tenía la cuestión de la responsabilidad civil a finales del siglo xix, sigue hoy prestando sus servicios para la generalidad de los supuestos. Es cierto que ha habido que modificar los criterios jurisprudenciales, relativos a la información del estándar de la diligencia exigible en algunos casos, y sobre todo, revisar las cuestiones relacionadas con la carga de la prueba, pero al final el artículo 1902 permanece inmodificado, y sigue siendo tan útil en nuestra post-industrial como lo fue en la sociedad rural española del último cuarto del siglo xix, o incluso más útil hoy día, puesto que el número de supuestos en los que resulta de aplicación ha aumentado».

«No habrá un régimen especial para la IA, lo que hay son aportaciones a regímenes especiales, como, por ejemplo, el de productos defectuosos» (véase ‍Rodríguez de las Heras, 2023: 2).

Véase Rebollo Delgado (‍2023: 51). Igualmente, es importante recordar que la Carta de los derechos digitales, de 14 de julio de 2021, no tenía como propósito crear nuevos derechos fundamentales: «El propósito de la Carta, ya se sabe, no es crear nuevos derechos fundamentales sino perfilar los ya reconocidos constitucionalmente y adecuar su protección al entorno digital. En cuanto a su eficacia jurídica, pese a carecer de naturaleza normativa sino meramente programática, se erige en marco de referencia para los poderes públicos en relación con los retos en el entorno digital, sirviendo de referencia para futuros proyectos legislativos y políticas públicas en España enderezadas a la consecución de ese fin» (‍González de Patto, 2023: 385).

Véase Rebollo Delgado (‍2023: 5), que, además, en este sentido, considera muy clarificadora, a este respecto, la STC 58/2018: “Los avances tecnológicos y el fenómeno de la globalización a través de internet y de otras vías dan lugar a nuevas realidades que, de una u otra forma, pueden incidir sobre el ejercicio de los derechos fundamentales, su delimitación, y su protección, lo que obliga a este tribunal a una constante labor de actualización de su doctrina para adecuarla a la cambiante realidad social, con el fin de dar una repuesta constitucional a esas nuevas situaciones». De igual forma, continúa exponiendo este autor: «[…] la jurisprudencia habrá de ir tejiendo la argumentación y fundamentación de variaciones en los derechos, armando una estructura lógico-jurídica de los derechos fundamentales, que produzca una respuesta adecuada a las nuevas necesidades jurídicas y que palie las deficiencias normativas, a la vez que facilite su aplicabilidad y su ejecución material. La protección jurídica y los medios de garantía ya existen, lo que varían son las formas de vulneración, por ello no es necesario crear un ordenamiento jurídico ex novo, es necesario ir adecuando el existente a las nuevas necesidades, y ello es tarea tanto del legislador, de la jurisprudencia y de la doctrina». En cualquier caso, hay quien considera que se deberían reconocer nuevos derechos fundamentales stricture sensu en las constituciones, como el acceso universal a internet y la ciberseguridad, así cormo un derecho fundamental a la verdad para combatir las noticias falsas (fake news, y un derecho a la conciliación familiar y laboral (véase ‍Barrios Andrés, 2021: 17).

Véase De la Quadra Salcedo Fernández del Castillo (‍2018: 66), quien, además, expresa que «la igualdad es uno de esos derechos fundamentales que pueden quedar comprometidos con la aparición de técnicas que permitan el llamado aumento o potenciación de determinadas personas mediante su conexión a ordenadores con inteligencia artificial, lo que puede determinar la competencia en el mercado, incluido el mercado de trabajo, en condiciones de igualdad». De hecho, como ya se expuso en apartados anteriores, los efectos discriminatorios de la inteligencia artificial se han dejado sentir en el empleo y en otros ámbitos. En esta misma línea, García-Antón Palacios (‍2023: 173-‍174) expone que «uno de los retos actuales a los que se enfrenta la IA es la posibilidad de que los algoritmos de los sistemas de aprendizaje automático sean entrenados con valores que reflejen ciertos sesgos discriminatorios como el sexo, la raza, la edad, la religión, o cualquier otro. Para hacer frente a las posibles situaciones de discriminación y vulneración de los derechos fundamentales, la “Rome Call for AI Ethics” indica que la libertad y la dignidad humanas descritas en los artículos 1 y 2 de la DUDH deben protegerse y garantizarse al producir y utilizar estos sistemas, por lo que los mismos deben concebirse, diseñarse e implementarse para servir y proteger a los seres humanos y el entorno en el que viven […]. A juicio de la Agencia Europea para los Derechos Fundamentales, en consonancia con el derecho a la igualdad y la prohibición de discriminación de los artículos 20 y 21 de la Carta, la discriminación es un tema crucial cuando se trata del uso de IA, porque el propósito principal de los algoritmos de aprendizaje automático es categorizar, clasificar y separar […]. Como medio para afrontar la conformación de sesgos algorítmicos, los formantes de la “Rome Call for AI Ethics” apuestan por el cumplimiento de tres requisitos que permitan un alineamiento entre el avance tecnológico, el verdadero progreso del ser humano y el respeto por el planeta. El primero de ellos sería la inclusión de todos los seres humanos, sin que se produzca ningún tipo de discriminación. El segundo sería el mantenimiento en el centro de las acciones del bien de la humanidad y de cada ser humano. Y, por último, debe estar presente la compleja realidad de nuestro ecosistema y la forma en que se cuida y protege el planeta, con un enfoque altamente sostenible, quien incluye el uso de la IA para garantizar sistemas alimentarios sostenibles en el futuro». Igualmente, Hellman (‍2023: 201) considera que es evidente que «son muchos de los beneficios que entraña la IA. No obstante, debemos ser conscientes de que la utilización de algoritmos en el ámbito de la referida inteligencia artificial puede propiciar o alentar situaciones discriminatorias […], por ello, debemos subrayar que, a la vista de los hechos, la normativa existente no es lo suficientemente eficaz. Resulta, por lo tanto, prioritario procurar nuevos mecanismos que tengan como objetivo asegurar y proteger de manera más contundente los derechos de las personas de cuyos datos se dispone. Éstos, desde nuestro punto de vista, deben fundamentalmente comprender un impulso de la regulación relativa a los derechos más básicos de los individuos, así como fomentar un mayor grado de transparencia».

«Cuando la gente produce alimentos, tiene que demostrarnos que no son venenosos o que no contienen ingredientes perjudiciales para las personas. Aquí estamos hablando de información, la columna vertebral o de la sociedad actual. Como sucede con la forma de alimentarnos, impacta a todo lo que hacemos: afecta a nuestras decisiones y nuestra visión de la realidad; afecta a la democracia y cómo se comportan las personas» (véase ‍Sánchez Díez, 2023a: 18). En esta misma línea, Beltrán de Heredia Ruiz (‍2023: 29) expone que «el avance de la ciencia se está desarrollando sin aparentas ser cuestionado. No solo se acepta resignadamente, como una consecuencia inevitable, sino que nos sentimos especialmente seducidos por ella: observamos con asombro cada avance y permanecemos expectantes a las nuevas versiones de los dispositivos. Esto explicaría por qué adoptamos una actitud colaborativa en aras a facilitar su expansión despreocupada. La pregunta es por qué somos insensibles a los efectos anteriormente descritos y permanecemos impasibles».

Véase López de Mántaras Badia (‍2023b: 3); en esta misma línea, Caramuto Martins (‍2013: 104): «Los ingenieros somos los que debemos hacer un ejercicio de ciencia ficción antes de desarrollar nuevos avances, sean cuales sean, y tratar de predecir el comportamiento de la sociedad ante dichos avances. La formación y el aprendizaje de los ingenieros no incluye actualmente objetivos en este aspecto, pero creo que sería algo que podría ayudar bastante a crear la sociedad de la información del futuro».

Nos estamos refiriendo a materiales como textos, fotos, vídeos o audios (‍Ureña, 2019: 106).

Véase Ureña (‍2019: 107). Respecto a los datos de los que se alimentan los procesos de decisión autónoma, podría decirse que pueden obtenerse de tres maneras diferentes: 1) por el usuario que desarrolla sus propias bases de datos; 2) por la compara de esas bases de datos, y 3) por su extracción de las fuentes públicas (véase ‍Levendowski, 2018: 583).

Véase Castellanos Claramunt (‍2023: 268), quien, además, expone los requisitos fundamentales que la Comisión Europea establece en su comunicado de 8 de abril de 2019 para asegurar la fiabilidad de la inteligencia artificial: 1) la necesidad de intervención y supervisión humanas para garantizar que los sistemas de IA promuevan sociedades justas; 2) la robustez y seguridad de los algoritmos para solucionar errores o inconsistencias que puedan surgir en todas las etapas del ciclo de vida de los sistemas de IA; 3) la privacidad y la gestión adecuadas de los datos personales; 4) la transparencia en el sentido de que los sistemas de IA deben ser trazables; 5) la diversidad, la no discriminación y la accesibilidad de los sistemas de IA para adaptarse a las capacidades, competencias y necesidades humanas; 6) la promoción del bienestar social y ambiental mediante sistemas de IA que fomenten la sostenibilidad y la responsabilidad ecológica, y 7) la rendición de cuentas mediante la implementación de mecanismos que permitan controlar los resultados de los sistemas de IA.

El texto más reciente del reglamento se deriva de las modificaciones del propuesto en 2021, sobre todo por la aparición de la IA generativa en noviembre de 2022. Desde que, en diciembre de 2023, se llegara a un acuerdo sobre la regulación de la IA en el Consejo de la Unión Europea y el Parlamento Europeo, en marzo de 2024 este organismo ha aprobado el reglamento sobre la IA. Este ha sido respaldado por 523 votos a favor, 46 votos en contra y 49 abstenciones. Disponible en: https://tinyurl.com/2knn3uee.

En este estado de cosas, resulta importante la definición que ofrece el reglamento, que considera que un sistema es inteligente «cuando se den las siguientes premisas: 1. Esté basado en máquinas. 2. Esté diseñado para funcionar con distintos niveles de autonomía. 3. Pueda demostrar capacidad de adaptación tras su despliegue. 4. Para objetivos explícitos o implícitos, infiere a partir de la entrada que recibe cómo generar salidas tales como predicciones, contenidos, recomendaciones o decisiones que puedan influir en entornos físicos o virtuales». En cuanto a los objetivos del reglamento, este busca: 1) mejorar el funcionamiento del mercado interior; 2) promover una inteligencia artificial centrada en el ser humano y digna de confianza, y 3) asegurar un alto nivel de protección de los derechos fundamentales. En su articulado recoge lo siguiente: a) normas armonizadas para introducir en el mercado, poner en servicio y utilizar sistemas de inteligencia artificial en la Unión; b) la prohibición de determinadas prácticas de IA; c) requisitos específicos para los sistemas de IA de alto riesgo y obligaciones para los operadores de dichos sistemas; d) normas de transparencia armonizadas para determinados sistemas de IA; e) normas armonizadas para comercializar modelos de IA de uso general; f) reglas sobre supervisión del mercado, sobre gobernanza de la vigilancia del mercado y sobre ejecución, y g) medidas de apoyo a la innovación, con especial atención a las pequeñas y medianas empresas, incluidas las de nueva creación. Por lo que se refiere a las principales obligaciones, el nuevo reglamento plantea nuevos esfuerzos que las entidades interesadas en estas tecnologías deben acometer para seguir utilizándolos. El reglamento presenta un enfoque basado en el riesgo. En consecuencia, impone un mayor número de obligaciones y exigencias a los sistemas de IA con niveles de riesgo más elevados. Asimismo, define cuatro niveles de riesgo asociados. 1) Sistemas de IA de riesgo inaceptable: a) representan una amenaza directa a la seguridad pública, la privacidad y los derechos fundamentales; b) su uso está prohibido, salvo en situaciones excepcionales como la utilización de sistemas de identificación biométrica remota por autoridades policiales en espacios públicos, con sujeción a salvaguardias. 2) Sistemas de IA de alto riesgo: a) pueden tener impacto relevante en los derechos fundamentales de los individuos; b) su uso está sujeto a ciertas obligaciones, como implantar sistemas adecuados de evaluación y mitigación de riesgos, registros de actividades, evaluaciones de impacto sobre los derechos fundamentales, medidas apropiadas de supervisión humana, etc. 3) Sistemas de IA de riesgo limitado: a) de propósito general; b) deben cumplir con ciertas obligaciones específicas de transparencia, como informar a los usuarios de que están interactuando con un sistema de IA o informar de que un contenido ha sido generado mediante IA. 4) De riesgo mínimo: a) no están regulados específicamente; b) los ciudadanos pueden decidir de forma libre sobre su uso (por ejemplo, videojuegos con IA o filtros de spam). Disponible en: https://tinyurl.com/2knn3uee.

Así lo pone de manifiesto Mher Hakobyan, asesor de amnistía internacional para el trabajo de incidencia sobre la regulación de la IA. Disponible en: https://tinyurl.com/3azxpsve.

En esta misma línea, la coalición Protect Not Surveil expone que las prohibiciones sobre los sistemas de IA no se extienden al contexto migratorio. La legislación introduce prohibiciones (limitadas) para usos nocivos de la IA. Los legisladores de la UE se negaron a prohibir sistemas dañinos como los sistemas discriminatorios de evaluación de riesgos en la migración y el análisis predictivo cuando se utilizan para facilitar las devoluciones. Además, la prohibición del reconocimiento de emociones no se aplica en el contexto migratorio, por lo que se excluyen los casos documentados de IA en las fronteras. La lista de sistemas de alto riesgo no refleja los numerosos sistemas de inteligencia artificial utilizados en el contexto de la migración y que, en última instancia, no estarán sujetos a las obligaciones del presente reglamento. La lista excluye sistemas peligrosos como los sistemas de identificación biométrica, los escáneres de huellas dactilares o las herramientas de pronóstico utilizadas para predecir, interceptar y restringir la migración. La IA utilizada como parte de las bases de datos a gran escala de la UE en materia de migración, como Eurodac, el Sistema de Información de Schengen y ETIAS, no tendrá que cumplir con el reglamento hasta 2030. Exportación de tecnología de vigilancia dañina: la ley de IA no abordó cómo los sistemas de IA desarrollados por empresas con sede en la UE impactan en las personas fuera de la UE, a pesar de la evidencia existente de violaciones de derechos humanos facilitadas por tecnologías de vigilancia desarrolladas en la UE en terceros países (por ejemplo, China, territorios palestinos ocupados). Por lo tanto, no estará prohibido exportar un sistema prohibido en Europa fuera de la UE. Las autoridades antes mencionadas están explícitamente exentas de las normas y salvaguardias más importantes de la ley de IA. 1) Exenciones a la transparencia y salvaguardias de supervisión para las autoridades encargadas de hacer cumplir la ley. La ley introduce salvaguardias de transparencia que exigen a las autoridades públicas que utilizan sistemas de inteligencia artificial de alto riesgo registrar información sobre el sistema en una base de datos de acceso público. La ley de IA introduce una exención a este requisito para las autoridades encargadas de hacer cumplir la ley y de migración, inculcando el secreto para algunos de los usos más dañinos de la IA. Esto hará imposible que las personas afectadas, la sociedad civil y los periodistas sepan dónde están desplegados los sistemas de IA. 2) La exención sobre seguridad nacional permitirá a los Estados miembros eximirse de las reglas para cualquier actividad que consideren relevantes para la «seguridad nacional», en esencia, una exención general a las reglas de la ley de IA que, en teoría, podría usarse en cualquier asunto de migración, vigilancia y seguridad. Estas exenciones codifican efectivamente la impunidad para el uso irrestricto de tecnología de vigilancia, sentando un precedente peligroso para el uso de tecnología de vigilancia en el futuro. En efecto, los legisladores de la ley de IA han limitado enormemente el escrutinio crucial de las autoridades encargadas de hacer cumplir la ley y han permitido un uso cada vez mayor de una vigilancia racializada y discriminatoria. En primer lugar, estas lagunas jurídicas perjudicarán a los migrantes, a los racializados y a otras comunidades marginadas que ya son las más afectadas por los ataques y la vigilancia excesiva de las autoridades. Disponible en: https://tinyurl.com/36kseenh.

Véase Kleinberg et al. (‍2018: 116). En este sentido, consideran que puede haber discriminación implícita si se utilizan registros de detenciones anteriores para predecir futuros delitos.

También se hace referencia por parte de algunos autores a la importancia de considerar el control humano como un nuevo derecho y principio de la inteligencia artificial. Empresas como IBM, Microsoft, Telia Company e IA Latam se han sumado a esta discusión junto con países como Canadá, Japón, Estados Unidos y la comunidad política de la Unión Europea, a partir de declaraciones públicas y privadas en las que han manifestado la necesidad de considerar el control humano en la formulación y desarrollo de sistemas de inteligencia artificial (véase ‍Sánchez Vásquez y Toro-Valencia, 2021: 5).

En el Reglamento de Protección de Datos se regula lo que se ha venido denominando «el derecho a una explicación»: «Las personas tienen derecho a recibir una explicación de la decisión adoptada mediante la creación de perfiles y a recibir información significativa respecto a la lógica aplicada en ciertas decisiones automatizadas que afectan derechos fundamentales» (véase el considerando 71 del Reglamento de Protección de Datos). Disponible en: https://tinyurl.com/4y86tht4.

El ejemplo más claro de ello se encuentra en el conocido caso Loomis. Durante la vista para decidir sobre su libertad condicional, el fiscal aportó un informe elaborado por un programa informático desarrollado por una empresa privada, según el cual el Sr. Loomis tenía un riesgo elevado de reincidencia y de cometer actos violentos, por lo que el juez impuso al señor Loomis una pena de prisión de seis años y otros cinco en régimen de libertad vigilada. La defensa del condenado recurrió la sentencia alegando que se había vulnerado el derecho a un proceso con todas las garantías, ya que no podía discutir los métodos utilizados por el programa informático, debido a que el algoritmo era secreto y solo lo conocía la empresa que lo había desarrollado. Si se observa esta cuestión dentro del ordenamiento jurídico español, no hay que perder de vista que el art. 24 de la CE reconoce a todas las personas el derecho a obtener la tutela efectiva de los jueces y tribunales en el ejercicio de sus derechos. No se trata solo de acceder a los órganos jurisdiccionales, sino del desarrollo posterior del proceso respetando los mínimos jurídicos básicos que comprende, tal y como ha manifestado en numerosas ocasiones el TC (véase ‍Montero Claro y Castellanos Claramunt, 2022: 77). En esta misma línea, Goodman y Flaxman (‍2016: 51). Disponible en: https://doi.org/10.1609/aimag.v38i3.2741. El programa informático Compás utiliza más de cien factores, incluidos edad, sexo e historial criminal, para calificar a los acusados en una escala de 1 a 10: los calificados con puntuación de 1 a 4 son tratados como de bajo riesgo, mientras que los acusados con puntuación de 5 a 10 se tratan como de riesgo medio o alto. State vs. Loomis ha suscitado especial interés al ser la primera sentencia en Estados Unidos que permite que esos cálculos se hagan con un algoritmo cuyo funcionamiento es secreto (‍Freeman, 2016: 80; ‍Martínez Garay, 2018: 494).

Véase Cotino Hueso (‍2023: 33), quien considera que «se trata de un elemento clave que incide directamente en la calidad y robustez del sistema, así como respecto de la posibilidad de controlar sesgos, errores o posibles discriminaciones».

En esta misma línea, ChatGPT continúa exponiendo que «la falta de transparencia en los algoritmos de inteligencia artificial ha sido un tema de discusión importante. La opacidad puede plantear desafíos en términos de explicabilidad y comprensión de cómo se toman las decisiones. Algunos esfuerzos se centran en el desarrollo de técnicas para hacer que los algoritmos sean más comprensibles y explicables, pero estas soluciones aún están en desarrollo. Es importante señalar que la falta de transparencia en mis algoritmos no significa necesariamente que estén ocultando información de manera maliciosa. La opacidad puede ser el resultado de la complejidad inherente a los modelos de lenguaje de gran escala como el mío. Sin embargo, las preocupaciones sobre la transparencia y la explicabilidad son válidas y deben abordarse a medida que la tecnología avanza».

Es probable que el RD 817/2023, de 8 de noviembre, que establece un entorno controlado de pruebas para el ensayo del cumplimiento de la propuesta del Reglamento del Parlamento Europeo y del Consejo, por el que se establecen normas armonizadas en materia de inteligencia artificial, haga tangible la transparencia y explicabilidad y permita que pueda verse el impacto que tiene en relación con la protección de los derechos fundamentales.

Ciertamente, se trata de una puerta que ya se ha abierto. Sin embargo, quizá sea conveniente revisar el régimen de responsabilidad por culpa que se ha establecido en respuesta a los daños ocasionados como consecuencia de la implementación del uso de la IA en la vida cotidiana, y volver al sistema de responsabilidad objetiva o sin culpa, tal y como lo contemplaba la Propuesta de Reglamento del Parlamento Europeo de 2020 en relación con los SIA de alto riesgo. Es probable que esta hubiera sido una buena oportunidad para testear el comportamiento que ello hubiera generado en los creadores de algoritmos y toda la cadena de sujetos que se lucran o benefician con el desarrollo y la evolución de la IA, generando un adecuado equilibrio entre el desarrollo de la IA y la protección de los derechos fundamentales.

En esta línea, es fácil fantasear con lo que pueda ser posible tras la demostración que Motos (‍2024) hizo tan solo hace unos días en su programa. En pantalla se mostró el impacto que la IA causa en los seres humanos cuando se trata de emular la voz de un ser querido ya fallecido. Todos los participantes, aun siendo conscientes de que no se trataba, en absoluto, de sus familiares, reaccionaban como si los tuvieran nuevamente a su lado. La capacidad del ser humano para empatizar con una máquina, que pueda mostrar ciertas características, denota que aún no se sabe hasta dónde puede llegar la «necesidad» de que se les dote de personalidad jurídica, como si de un ser humano se tratara, cuando, a día de hoy, ya se sabe que no es necesario, aunque sea posible. ¿De qué manera la realidad va a superar a la ficción en este caso? Ya se verá.

A modo de recordatorio, las leyes de Asimov son la antesala «preceptiva» de toda regulación en materia de IA: 1) un robot no puede dañar a un ser humano ni, por inacción, permitir que un ser humano sufra daño; 2) un robot debe cumplir las órdenes de los seres humanos, excepto si dichas órdenes entran en conflicto con la primera ley, y 3) un robot debe proteger su propia existencia en la medida en que ello no entre en conflicto con la primera ley o la segunda (esto se da por sentado).