El sexismo en los algoritmos: una discriminación subestimada

A pesar del auge del femi­nismo en los últi­mos años, los efec­tos nega­ti­vos y gene­ra­li­za­dos del sexismo en la inte­li­gen­cia arti­fi­cial suelen ser subes­ti­ma­dos.

Lejos de ser mino­ri­ta­rio, el sexismo, y la discri­mi­na­ción que éste genera, impregna hoy en día el funci­o­na­mi­ento de los algo­rit­mos de inte­li­gen­cia arti­fi­cial. Esto es un problema porque cada vez usamos más algo­rit­mos para tomar deci­si­o­nes cruci­a­les sobre nues­tras vidas. Por ejem­plo, quién puede acce­der y quién no a una entre­vista de trabajo o a una hipo­teca.

Sexismo en los algo­rit­mos

La lite­ra­tura cien­tí­fica que estu­dia la presen­cia de sesgos y erro­res en los algo­rit­mos de apren­di­zaje automá­tico está toda­vía en sus prime­ras etapas, pero los resul­ta­dos son muy preo­cu­pan­tes.

Se ha compro­bado que los algo­rit­mos here­dan los sesgos de género que impe­ran en nues­tra soci­e­dad. Como vere­mos a conti­nu­a­ción, los sesgos huma­nos llevan a erro­res sistemá­ti­cos en los algo­rit­mos. Es más, a menudo estos sesgos tien­den a incre­men­tarse debido a la gran canti­dad de datos que mane­jan los algo­rit­mos y a su uso gene­ra­li­zado.

Por ejem­plo, en un estu­dio en el que se apli­ca­ron técni­cas de apren­di­zaje automá­tico para entre­nar a una inte­li­gen­cia arti­fi­cial utili­zando Google News, se resol­vió la analo­gía “hombre es a progra­ma­dor de orde­na­do­res lo que mujer es a x”. La respu­esta automá­tica fue que “x = ama de casa”.

De manera simi­lar, otro hallazgo inqui­e­tante fue el que se observó en un algo­ritmo entre­nado con texto tomado de inter­net. Éste asoci­aba nombres feme­ni­nos como Sarah con pala­bras atri­bui­das a la fami­lia, tales como padres y boda. En cambio, nombres mascu­li­nos como John tenían asoci­a­ci­o­nes más fuer­tes con pala­bras atri­bui­das al trabajo, como profe­si­o­nal y sala­rio.

Amazon también tuvo que elimi­nar su algo­ritmo de selec­ción de perso­nal porque mostraba un fuerte sesgo de género, pena­li­zando los CV que conte­nían la pala­bra mujer.

El sexismo también se cuela en los algo­rit­mos de búsqueda de imáge­nes. Por ejem­plo, una inves­ti­ga­ción mostró que en Bing se recu­pe­ran fotos de muje­res más a menudo al utili­zar en las búsque­das pala­bras con rasgos cáli­dos, como por ejem­plo, sensi­ble o emoci­o­nal. Por el contra­rio, pala­bras con rasgos de compe­ten­cia, tales como inte­li­gente o raci­o­nal, están más repre­sen­ta­dos por fotos de hombres. Es más, al buscar la pala­bra persona se recu­pe­ran más a menudo fotos de hombres que de muje­res.

En otro trabajo se observó que el algo­ritmo asoci­aba imáge­nes de compras y coci­nas con muje­res. Así, dedu­cía que “si está en la cocina, es mujer” la mayor parte de las veces. En cambio, asoci­aba imáge­nes de entre­na­mi­ento físico con hombres.

Además de los datos de texto y las imáge­nes, las entra­das e inter­ac­ci­o­nes que reali­zan los usua­rios también refu­er­zan y nutren el apren­di­zaje de sesgos de los algo­rit­mos. Un ejem­plo de ello lo confirmó un trabajo en el que se obser­vaba que los temas rela­ci­o­na­dos con la fami­lia y las rela­ci­o­nes román­ti­cas se discu­ten mucho más frecu­en­te­mente en los artí­cu­los de Wiki­pe­dia sobre las muje­res que sobre los hombres. Además, la biogra­fía de muje­res tiende a estar más vincu­lada (medi­ante enla­ces) a la de los hombres que vice­versa.

Sesgo algo­rít­mico en lenguas con género

Hasta la fecha los estu­dios que se han centrado en exami­nar el sesgo de género lo han hecho casi exclu­si­va­mente anali­zando el funci­o­na­mi­ento de los algo­rit­mos con el idioma inglés. Sin embargo, esta lengua no tiene género grama­ti­cal.

En inglés, la maes­tra simpá­tica y el maes­tro simpá­tico se dice igual: the nice teacher. Por tanto, cabe pregun­tarse qué ocurre con lenguas como el español, que sí tiene género grama­ti­cal.

La inves­ti­ga­ción al respecto ha encon­trado sesgos de género al tradu­cir del inglés a idio­mas con género grama­ti­cal como el nues­tro. Por ejem­plo, un estu­dio mostró que al tradu­cir la pala­bra lawyer del inglés al español había una asoci­a­ción automá­tica más fuerte con la pala­bra abogado que abogada. Por el contra­rio, la pala­bra nurse estaba más rela­ci­o­nada con la pala­bra enfer­mera que enfer­mero. En prin­ci­pio tendría que haber asoci­ado ambas traduc­ci­o­nes con idén­tica proba­bi­li­dad.

A pesar de las nume­ro­sas críti­cas de los últi­mos años, los sesgos que se produ­cen al tradu­cir desde una lengua sin género grama­ti­cal, como el inglés, a una con género grama­ti­cal, como el español, se siguen dando hoy en día en algu­nos traduc­to­res automá­ti­cos como, por ejem­plo, DeepL (ver Figura 1).

Figura 1. Captura de panta­lla del algo­ritmo DeepL que mues­tra sesgo de género (14–05–2020).

Algu­nos traduc­to­res como Google Trans­late han intro­du­cido correc­ci­o­nes. Hoy en día tradu­cen con el mascu­lino gené­rico un conjunto de pala­bras (ver Figura 2), pero han incor­po­rado también el desdo­bla­mi­ento por género feme­nino y mascu­lino de pala­bras e incluso frases cortas (ver Figura 3).

Figura 2. Captura de panta­lla de Google Trans­late que mues­tra mascu­lino gené­rico en la traduc­ción de un listado de pala­bras (14–05–2020).
Figura 3. Captura de panta­lla de Google Trans­late que mues­tra desdo­bla­mi­ento de género feme­nino y mascu­lino en la traduc­ción de una pala­bra (14–05–2020).

¿Qué solu­ción tiene?

En la actu­a­li­dad, se están desar­ro­llando inici­a­ti­vas y están­da­res desti­na­dos a abor­dar el problema de los sesgos algo­rít­mi­cos. Pero, por el momento, la mayor parte de los siste­mas de inte­li­gen­cia arti­fi­cial presenta sesgos.

La inves­ti­ga­ción sugi­ere que subes­ti­ma­mos los sesgos presen­tes en las máqui­nas e incluso tende­mos a consi­de­rar más justas y prefe­rir las reco­men­da­ci­o­nes de los algo­rit­mos a las de los huma­nos. Pero, ¿real­mente quere­mos dele­gar nues­tras deci­si­o­nes en algo­rit­mos que asocian mujer con ama de casa? IBM predice que “sólo la inte­li­gen­cia arti­fi­cial que esté libre de sesgos sobre­vi­virá”.