Involucrada en el colectivo Algorace, asegura que “cualquier producto que surja de una inteligencia artificial puede estar produciendo resultados sesgados [racistas, machistas...] y que pueden afectar a grandes masas de población”
Paula Guerra Cáceres es experta en temas de racismo y activista. Fue presidenta de SOS Racismo en Madrid y en la actualidad centra su trabajo en combatir este tipo de sesgos en la inteligencia artificial a través del colectivo Algorace, nacido hace casi dos años para llamar la atención sobre una de las disfunciones de una tecnología ya implantada en empresas y administraciones públicas y que continúa en desarrollo. Acaba de participar en Santiago de Compostela en una cumbre contra el discurso del odio promovida por la Coordinadora Galega de ONGD, en la que ha hecho la reflexión de que no se puede esperar que un producto tecnológico creado en un mundo estructuralmente racista, patriarcal y machista no refleje estos mismos problemas.
El relato social establecido sobre la inteligencia artificial es que se trata de “una herramienta mágica, neutral, que produce resultados objetivos”, dice Guerra Cáceres, que desmonta este “mito”: “Hay que tener en cuenta que, detrás de cada tecnología de inteligencia artificial, hay una persona de carne y hueso con sus sesgos que ha entrenado al algoritmo con datos que ha decidido usar y datos que ha decidido no usar”. Ve especialmente preocupante que las administraciones públicas acepten ese relato de supuesta objetividad y critica la opacidad sobre los recursos tecnológicos que se usan para cuestiones tan sensibles como la concesión de ayudas sociales o la evaluación del riesgo de mujeres víctimas de violencia de género. Defiende que los algoritmos que se aplican a derechos de las personas “debieran tratarse como una ley, ser públicos y debatibles. Y deberían poder revertirse si están produciendo desigualdades sociales”.
Se está hablando mucho de la inteligencia artificial con la popularización de herramientas como ChatGPT y parece que lo que cala es un debate sobre si van a desaparecer puestos de trabajo, pero ¿hay otras cosas en riesgo?
Sí, ojalá ese fuera el único problema. Uno de los mayores riesgos en este momento con la inteligencia artificial es que, como se ha creado una confianza ciega respecto de sus resultados supuestamente neutrales, se está utilizando en todo ámbito de cosas, incluidas políticas sociales, migraciones y cuestiones que son muy sensibles sin tomar en cuenta que esta tecnología no es para nada neutral. Eso es un mito, el relato que nos han vendido. Hay que tener en cuenta que detrás de cada tecnología de inteligencia artificial hay una persona de carne y hueso con sus sesgos que la ha desarrollado, que ha entrenado el algoritmo con datos que ha decidido usar y otros que ha decidido no usar. Eso ya indica de qué forma cualquier producto que surja de una inteligencia artificial puede estar produciendo resultados sesgados y que pueden afectar a grandes masas de población.
Por ejemplo, hay entidades bancarias que utilizan algoritmos para decidir a qué persona le van a dar un crédito hipotecario. Si esa entidad bancaria está tomando en cuenta si la persona es migrante o no, si es mujer u hombre, mujer y madre soltera, etc, lo que puede suceder es que haya grupos demográficos que se vean afectados por esta situación. Hay entidades en otros países que lo están utilizando para decidir a quién le dan una beca.
Se pasa por alto e incluso sorprende que las inteligencias artificiales tengan sesgos racistas, machistas...
Vivimos en un mundo que es estructuralmente racista, patriarcal, machista... y, por lo tanto, cualquier cosa que se produzca dentro de este sistema-mundo va a tener como resultado herramientas que van a reproducir estas miradas. Tiene que ver con el marco político y cultural en el que se desarrollan. Es absolutamente fantasioso pensar que, en un mundo que es así, vamos a tener una tecnología que no lo reproduce.
¿Qué tipo de sesgos observan?
Por ejemplo, los algoritmos de reconocimiento facial están mundialmente cuestionados porque se ha comprobado con diversos estudios que arrojan grandes errores en rostros de personas no caucásicas,. Ahí influye el tema de con qué imágenes se han entrenado estos algoritmos: mayoritariamente con imágenes de hombres blancos. Por lo tanto, cuando aparece una persona negra, no leen bien su rostro. Y lo mismo si es indígena o asiática. Hay otro tipo de sesgos en otro tipo de algoritmos. Los de policía preventiva, que se utilizan en algunas ciudades de Estados Unidos, fueron entrenados con datos de delitos comunes e incorporando la variable de la ubicación geográfica. Esto repercute directamente en poblaciones racializadas, de clases obreras, porque es en esas zonas donde hay delitos comunes. La persona que creó este algoritmo decidió no tomar en cuenta los delitos de guante blanco, como blanqueo de capitales o tráfico de influencias. Si no, el algoritmo habría dicho que las zonas en las que probablemente se va a cometer un delito son los barrios acomodados y que el perfil de posible delincuente es el de hombres blancos.
Con el segundo ejemplo, además, hay una retroalimentación: si miras en un determinado sitio y no en otros, es de ese sitio del que tienes datos.
Sí, si este algoritmo te dice que las patrullas policiales tienen que ser en esas zonas, es donde mayormente se van a recoger más delitos y se genera retroalimentación constante. Muchas empresas están vendiendo estas herramientas como la panacea, como una herramienta mágica, todopoderosa, neutral y objetiva y están encontrando bastante aceptación por parte incluso de entidades públicas. Eso es lo preocupante.
¿Está la sociedad siendo consciente de ello?
Creo que cada vez más, pero todavía no de una forma masiva porque se sigue viendo como un tema muy lejano, como algo que no tiene que ver con nuestro día a día. Va habiendo interés por parte de organizaciones de todo tipo, sobre todo en lo que tiene que ver con la merma de derechos. Nosotros, desde Algorace, que es una entidad que surgió en octubre de 2021, nos organizamos justamente para analizar este tema desde la perspectiva de la relación que existe entre inteligencia artificial y reproducción de racismo. Hay otros colectivos trabajando desde el feminismo, los derechos digitales, etc. Lo hacemos porque estamos viendo que es un ámbito que se está dejando al libre albedrío, en el que las empresas privadas y la administración pública pueden hacer uso de esta tecnología sin que nadie les pida cuentas porque, a día de hoy, hay absoluta opacidad. En el Estado español una persona no tiene cómo saber si al momento de acudir a servicios sociales de su ayuntamiento a solicitar una prestación su solicitud está siendo pasada por el filtro de un algoritmo. Entendemos que, a raíz de la ley de inteligencia artificial que se está discutiendo a nivel de la Unión Europea, eso cambiará en el futuro y habrá más claridad.
Pero esto aún no es realidad.
Ahora no es posible saberlo. Hay alguna información porque algunas entidades la hemos visibilizado. Por ejemplo, se sabe de los problemas que ha generado la herramienta BOSCO [que denegaba el acceso al bono social a personas que tenían derecho a que se les aplicase] porque ha habido una organización como Civio que los ha contado. También se han comentado cosas sobre el algoritmo de VioGén. Siempre es por eso, porque ha habido entidades detrás denunciándolo, pero no porque la administración o las empresas se encarguen de transmitir esta información. Hay una cosa muy importante: cuando se está utilizando un algoritmo para regular cuestiones que tienen que ver con los derechos de las personas, ese algoritmo debiera tratarse como si fuera una ley, debiera ser público, debatible y debería poderse revertir si se comprueba que está produciendo desigualdades sociales. Eso, a día de hoy, no existe.
¿Son desincentivos la opacidad y el propio tema, con una base tecnológica que puede resultar oscura para muchos ciudadanos, para la conversación social sobre este tema?
Totalmente. Ese es uno de los aspectos que impide que de forma más masiva la población se meta en este ámbito. Tenemos la sensación de que para hablar de estos temas tenemos que ser ingenieras o tener un doctorado en inteligencia artificial. Es parte del discurso que nos han vendido: que esto es cuestión de personas técnicas. Pero la sociedad civil podemos perfectamente debatir cuestiones que tienen que ver con derechos mermados y la imposibilidad de acceder a determinadas prestaciones. Para eso necesitamos información previa.
El caso del futbolista Vinícius ha puesto el racismo en la conversación pública. ¿Por qué le cuesta tanto a España mirarse al espejo y admitir que es racista?
Le cuesta y mucho. Yo creo que tiene que ver con la negación de mirar las cuestiones que hay que corregir, la imposibilidad de reconocer que se está cometiendo una injusticia con determinadas poblaciones y esa esa necedad de no querer asumir algo que, además, es bastante obvio. Vivimos en un mundo que es estructuralmente racista, patriarcal, heterosexista... y si es posible reconocer que vivimos en un mundo patriarcal y machista, ¿por qué no reconocer que es racista? Creo que dice muy poco de lo construida que está la sociedad española. Es muy importante escuchar lo que se dice desde determinados grupos sociales: si desde el activismo de la disidencia sexual se dicen determinadas cosas, el resto de las personas tenemos que reflexionar sobre ello; si desde el mundo de la lucha contra el racismo se dicen otras cosas, la sociedad tiene que reflexionar sobre esas cosas, más que negarlas. Porque lo están diciendo desde experiencias y vivencias en sus carnes y hay que prestar atención a eso.
¿Este episodio es útil para el debate, con un protagonista racializado pero que tiene privilegios de otro tipo, como económicos?
Ahí te das cuenta de que el racismo es un problema en sí mismo que va mucho más allá del tema de la clase. Muchas personas que intentan negar la existencia del racismo como sistema de opresión te dicen que en realidad lo que allí juega es la clase. Este caso demuestra que no es así.
Autora: Beatriz Muñoz
Imagen: La activista antirracista y miembro del colectivo Algorace, que combate el racismo en la inteligencia artificial, Paula Guerra Cáceres. Cedida