Paula Guerra Cáceres, activista antirracista: “Los algoritmos sobre derechos de las personas deben publicarse y debatirse”

Invo­lu­crada en el colec­tivo Algo­race, asegura que “cual­quier producto que surja de una inte­li­gen­cia arti­fi­cial puede estar produ­ci­endo resul­ta­dos sesga­dos [racis­tas, machis­tas…] y que pueden afec­tar a gran­des masas de pobla­ción”

Paula Guerra Cáce­res es experta en temas de racismo y acti­vista. Fue presi­denta de SOS Racismo en Madrid y en la actu­a­li­dad centra su trabajo en comba­tir este tipo de sesgos en la inte­li­gen­cia arti­fi­cial a través del colec­tivo Algo­race, nacido hace casi dos años para llamar la aten­ción sobre una de las disfun­ci­o­nes de una tecno­lo­gía ya implan­tada en empre­sas y admi­nis­tra­ci­o­nes públi­cas y que conti­núa en desar­ro­llo. Acaba de parti­ci­par en Santi­ago de Compos­tela en una cumbre contra el discurso del odio promo­vida por la Coor­di­na­dora Galega de ONGD, en la que ha hecho la refle­xión de que no se puede espe­rar que un producto tecno­ló­gico creado en un mundo estruc­tu­ral­mente racista, patri­ar­cal y machista no refleje estos mismos proble­mas.

El relato social esta­ble­cido sobre la inte­li­gen­cia arti­fi­cial es que se trata de “una herra­mi­enta mágica, neutral, que produce resul­ta­dos obje­ti­vos”, dice Guerra Cáce­res, que desmonta este “mito”: “Hay que tener en cuenta que, detrás de cada tecno­lo­gía de inte­li­gen­cia arti­fi­cial, hay una persona de carne y hueso con sus sesgos que ha entre­nado al algo­ritmo con datos que ha deci­dido usar y datos que ha deci­dido no usar”. Ve espe­ci­al­mente preo­cu­pante que las admi­nis­tra­ci­o­nes públi­cas acep­ten ese relato de supu­esta obje­ti­vi­dad y critica la opaci­dad sobre los recur­sos tecno­ló­gi­cos que se usan para cues­ti­o­nes tan sensi­bles como la conce­sión de ayudas soci­a­les o la evalu­a­ción del riesgo de muje­res vícti­mas de violen­cia de género. Defi­ende que los algo­rit­mos que se apli­can a dere­chos de las perso­nas “debi­e­ran tratarse como una ley, ser públi­cos y deba­ti­bles. Y debe­rían poder rever­tirse si están produ­ci­endo desi­gual­da­des soci­a­les”.

Se está hablando mucho de la inte­li­gen­cia arti­fi­cial con la popu­la­ri­za­ción de herra­mi­en­tas como ChatGPT y parece que lo que cala es un debate sobre si van a desa­pa­re­cer pues­tos de trabajo, pero ¿hay otras cosas en riesgo?

Sí, ojalá ese fuera el único problema. Uno de los mayo­res ries­gos en este momento con la inte­li­gen­cia arti­fi­cial es que, como se ha creado una confi­anza ciega respecto de sus resul­ta­dos supu­es­ta­mente neutra­les, se está utili­zando en todo ámbito de cosas, inclui­das polí­ti­cas soci­a­les, migra­ci­o­nes y cues­ti­o­nes que son muy sensi­bles sin tomar en cuenta que esta tecno­lo­gía no es para nada neutral. Eso es un mito, el relato que nos han vendido. Hay que tener en cuenta que detrás de cada tecno­lo­gía de inte­li­gen­cia arti­fi­cial hay una persona de carne y hueso con sus sesgos que la ha desar­ro­llado, que ha entre­nado el algo­ritmo con datos que ha deci­dido usar y otros que ha deci­dido no usar. Eso ya indica de qué forma cual­quier producto que surja de una inte­li­gen­cia arti­fi­cial puede estar produ­ci­endo resul­ta­dos sesga­dos y que pueden afec­tar a gran­des masas de pobla­ción.

Por ejem­plo, hay enti­da­des banca­rias que utili­zan algo­rit­mos para deci­dir a qué persona le van a dar un crédito hipo­te­ca­rio. Si esa enti­dad banca­ria está tomando en cuenta si la persona es migrante o no, si es mujer u hombre, mujer y madre soltera, etc, lo que puede suce­der es que haya grupos demográ­fi­cos que se vean afec­ta­dos por esta situ­a­ción. Hay enti­da­des en otros países que lo están utili­zando para deci­dir a quién le dan una beca.

Se pasa por alto e incluso sorprende que las inte­li­gen­cias arti­fi­ci­a­les tengan sesgos racis­tas, machis­tas…

Vivi­mos en un mundo que es estruc­tu­ral­mente racista, patri­ar­cal, machis­ta… y, por lo tanto, cual­quier cosa que se produzca dentro de este sistema-mundo va a tener como resul­tado herra­mi­en­tas que van a repro­du­cir estas mira­das. Tiene que ver con el marco polí­tico y cultu­ral en el que se desar­ro­llan. Es abso­lu­ta­mente fanta­si­oso pensar que, en un mundo que es así, vamos a tener una tecno­lo­gía que no lo repro­duce.

¿Qué tipo de sesgos obser­van?

Por ejem­plo, los algo­rit­mos de reco­no­ci­mi­ento facial están mundi­al­mente cues­ti­o­na­dos porque se ha compro­bado con diver­sos estu­dios que arro­jan gran­des erro­res en rostros de perso­nas no caucá­si­cas, . Ahí influye el tema de con qué imáge­nes se han entre­nado estos algo­rit­mos: mayo­ri­ta­ri­a­mente con imáge­nes de hombres blan­cos. Por lo tanto, cuando aparece una persona negra, no leen bien su rostro. Y lo mismo si es indí­gena o asiá­tica. Hay otro tipo de sesgos en otro tipo de algo­rit­mos. Los de poli­cía preven­tiva, que se utili­zan en algu­nas ciuda­des de Esta­dos Unidos, fueron entre­na­dos con datos de deli­tos comu­nes e incor­po­rando la vari­a­ble de la ubica­ción geográ­fica. Esto reper­cute direc­ta­mente en pobla­ci­o­nes raci­a­li­za­das, de clases obre­ras, porque es en esas zonas donde hay deli­tos comu­nes. La persona que creó este algo­ritmo deci­dió no tomar en cuenta los deli­tos de guante blanco, como blan­queo de capi­ta­les o tráfico de influ­en­cias. Si no, el algo­ritmo habría dicho que las zonas en las que proba­ble­mente se va a come­ter un delito son los barrios acomo­da­dos y que el perfil de posi­ble delin­cu­ente es el de hombres blan­cos.

Con el segundo ejem­plo, además, hay una retro­a­li­men­ta­ción: si miras en un deter­mi­nado sitio y no en otros, es de ese sitio del que tienes datos.

Sí, si este algo­ritmo te dice que las patru­llas poli­ci­a­les tienen que ser en esas zonas, es donde mayor­mente se van a reco­ger más deli­tos y se genera retro­a­li­men­ta­ción cons­tante. Muchas empre­sas están vendi­endo estas herra­mi­en­tas como la pana­cea, como una herra­mi­enta mágica, todo­po­de­rosa, neutral y obje­tiva y están encon­trando bastante acep­ta­ción por parte incluso de enti­da­des públi­cas. Eso es lo preo­cu­pante.

¿Está la soci­e­dad siendo cons­ci­ente de ello?

Creo que cada vez más, pero toda­vía no de una forma masiva porque se sigue viendo como un tema muy lejano, como algo que no tiene que ver con nues­tro día a día. Va habi­endo interés por parte de orga­ni­za­ci­o­nes de todo tipo, sobre todo en lo que tiene que ver con la merma de dere­chos. Noso­tros, desde Algo­race, que es una enti­dad que surgió en octu­bre de 2021, nos orga­ni­za­mos justa­mente para anali­zar este tema desde la pers­pec­tiva de la rela­ción que existe entre inte­li­gen­cia arti­fi­cial y repro­duc­ción de racismo. Hay otros colec­ti­vos traba­jando desde el femi­nismo, los dere­chos digi­ta­les, etc. Lo hace­mos porque esta­mos viendo que es un ámbito que se está dejando al libre albe­drío, en el que las empre­sas priva­das y la admi­nis­tra­ción pública pueden hacer uso de esta tecno­lo­gía sin que nadie les pida cuen­tas porque, a día de hoy, hay abso­luta opaci­dad. En el Estado español una persona no tiene cómo saber si al momento de acudir a servi­cios soci­a­les de su ayun­ta­mi­ento a soli­ci­tar una pres­ta­ción su soli­ci­tud está siendo pasada por el filtro de un algo­ritmo. Enten­de­mos que, a raíz de la ley de inte­li­gen­cia arti­fi­cial que se está discu­ti­endo a nivel de la Unión Euro­pea, eso cambi­ará en el futuro y habrá más clari­dad.

Pero esto aún no es reali­dad.

Ahora no es posi­ble saberlo. Hay alguna infor­ma­ción porque algu­nas enti­da­des la hemos visi­bi­li­zado. Por ejem­plo, se sabe de los proble­mas que ha gene­rado la herra­mi­enta BOSCO [que dene­gaba el acceso al bono social a perso­nas que tenían dere­cho a que se les apli­case] porque ha habido una orga­ni­za­ción como Civio que los ha contado. También se han comen­tado cosas sobre el algo­ritmo de VioGén. Siem­pre es por eso, porque ha habido enti­da­des detrás denun­cián­dolo, pero no porque la admi­nis­tra­ción o las empre­sas se encar­guen de trans­mi­tir esta infor­ma­ción. Hay una cosa muy impor­tante: cuando se está utili­zando un algo­ritmo para regu­lar cues­ti­o­nes que tienen que ver con los dere­chos de las perso­nas, ese algo­ritmo debi­era tratarse como si fuera una ley, debi­era ser público, deba­ti­ble y debe­ría poderse rever­tir si se compru­eba que está produ­ci­endo desi­gual­da­des soci­a­les. Eso, a día de hoy, no existe.

¿Son desin­cen­ti­vos la opaci­dad y el propio tema, con una base tecno­ló­gica que puede resul­tar oscura para muchos ciuda­da­nos, para la conver­sa­ción social sobre este tema?

Total­mente. Ese es uno de los aspec­tos que impide que de forma más masiva la pobla­ción se meta en este ámbito. Tene­mos la sensa­ción de que para hablar de estos temas tene­mos que ser inge­ni­e­ras o tener un docto­rado en inte­li­gen­cia arti­fi­cial. Es parte del discurso que nos han vendido: que esto es cues­tión de perso­nas técni­cas. Pero la soci­e­dad civil pode­mos perfec­ta­mente deba­tir cues­ti­o­nes que tienen que ver con dere­chos merma­dos y la impo­si­bi­li­dad de acce­der a deter­mi­na­das pres­ta­ci­o­nes. Para eso nece­si­ta­mos infor­ma­ción previa.

El caso del futbo­lista Viní­cius ha puesto el racismo en la conver­sa­ción pública. ¿Por qué le cuesta tanto a España mirarse al espejo y admi­tir que es racista?

Le cuesta y mucho. Yo creo que tiene que ver con la nega­ción de mirar las cues­ti­o­nes que hay que corre­gir, la impo­si­bi­li­dad de reco­no­cer que se está come­ti­endo una injus­ti­cia con deter­mi­na­das pobla­ci­o­nes y esa esa nece­dad de no querer asumir algo que, además, es bastante obvio. Vivi­mos en un mundo que es estruc­tu­ral­mente racista, patri­ar­cal, hete­ro­se­xis­ta… y si es posi­ble reco­no­cer que vivi­mos en un mundo patri­ar­cal y machista, ¿por qué no reco­no­cer que es racista? Creo que dice muy poco de lo cons­truida que está la soci­e­dad española. Es muy impor­tante escu­char lo que se dice desde deter­mi­na­dos grupos soci­a­les: si desde el acti­vismo de la disi­den­cia sexual se dicen deter­mi­na­das cosas, el resto de las perso­nas tene­mos que refle­xi­o­nar sobre ello; si desde el mundo de la lucha contra el racismo se dicen otras cosas, la soci­e­dad tiene que refle­xi­o­nar sobre esas cosas, más que negar­las. Porque lo están dici­endo desde expe­ri­en­cias y viven­cias en sus carnes y hay que pres­tar aten­ción a eso.

¿Este episo­dio es útil para el debate, con un prota­go­nista raci­a­li­zado pero que tiene privi­le­gios de otro tipo, como econó­mi­cos?

Ahí te das cuenta de que el racismo es un problema en sí mismo que va mucho más allá del tema de la clase. Muchas perso­nas que inten­tan negar la exis­ten­cia del racismo como sistema de opre­sión te dicen que en reali­dad lo que allí juega es la clase. Este caso demu­es­tra que no es así.

Autora: Beatriz Muñoz

Imagen: La acti­vista antir­ra­cista y miem­bro del colec­tivo Algo­race, que combate el racismo en la inte­li­gen­cia arti­fi­cial, Paula Guerra Cáce­res. Cedida