La distopia llegó: pensar las tecnologías del reconocimiento de personas desde la periferia por Florencia Goldsman

Post origi­nal publi­cado aqui

En un pasado no tan lejano, les migran­tes que busca­ban mejo­res opci­o­nes de vida o simple­mente sobre­vi­vir fueron reci­bi­dos por países conte­ne­do­res. Hoy, sin embargo, la inte­li­gen­cia arti­fi­cial y los algo­rit­mos están siendo utili­za­dos para la segre­ga­ción social, la crimi­na­li­za­ción de los recla­mos y la estig­ma­ti­za­ción ad infi­ni­tum de movi­mi­en­tos masi­vos de perso­nas. Huellas digi­ta­les, regis­tro del iris de los ojos, medi­das de rasgos faci­a­les y acceso a la infor­ma­ción de ADN. La disto­pia ya llegó. Cons­truir, compren­der y acci­o­nar desde la peri­fe­ria se hace preciso.

Algo­rit­mos, uso exten­sivo de bases de datos para el control social, inte­li­gen­cia arti­fi­cial y tecno­lo­gías biomé­tri­cas*, ¿cómo se desa­nuda la comple­ji­dad de estos temas? Y, ¿cómo enten­der­los desde una pers­pec­tiva femi­nista? Hoy más que nunca tene­mos que sacu­dir la pereza mental que nos deja absor­tas frente a las panta­llas y desan­dar pregun­tas como ¿qué inter­e­ses están por detrás de los algo­rit­mos?, ¿cuá­les son las nuevas injus­ti­cias está creando la tecno­lo­gía?, ¿qué ocurre cuando existe presión polí­tica empu­jando los desar­ro­llos tecno­ló­gi­cos en el ámbito local?

Desa­nu­de­mos poco a poco: vivi­mos en un mundo dati­fi­cado y la impor­tan­cia de nues­tros datos que gene­ran bases de infor­ma­ción incon­men­su­ra­bles se entre­cruza con la posi­bi­li­dad de enten­der a los datos como un commo­dity, un elemento capaz de ser vendido como una infor­ma­ción central para el moni­to­reo de las perso­nas.

El trata­mi­ento masivo (y comer­cial de los datos) tiene como meta pronos­ti­car y modi­fi­car el compor­ta­mi­ento humano, es un medio para produ­cir ingre­sos y, al mismo tiempo, control de mercado. Otro de los usos de las bases de datos es ser la fuente predi­lecta del desar­ro­llo de proce­sos de inte­li­gen­cia arti­fi­cial, pues esta se define en térmi­nos gene­ra­les como una tecno­lo­gía que realiza predic­ci­o­nes en función de la detec­ción automá­tica de patro­nes que apare­cen en los data­sets.

Enfo­que­mos los lentes femi­nis­tas: para anali­zar críti­ca­mente las bases de datos debe­mos impli­car­nos en compren­der el contexto, quién y de qué manera se gene­ra­ron dichos datos, cuáles son los posi­bles erro­res presen­tes y cuáles son las partes del fenó­meno que el propio recorte obliga a omitir. ¿Quién decide reco­lec­tar cier­tos datos? ¿Acaso pode­mos crear bases de datos desde un enfo­que ético?¿Cómo se ve un conjunto de datos susten­ta­ble y cola­bo­ra­tivo? Algu­nas respu­esta las ensaya Cathe­rine D’Ina­zio,  quien esta por lanzar su libro Datos Femi­nis­tas (Femi­nist Data).

¿Acaso pode­mos crear bases de datos desde un enfo­que ético?¿Cómo se ve un conjunto de datos susten­ta­ble y cola­bo­ra­tivo?CLIC PARA TUITEAR

Mien­tras tanto, el presente de los progra­mas de desar­ro­llo de inte­li­gen­cia arti­fi­cial, que enca­be­zan muchos Esta­dos del mundo, lejos está de un plane­a­mi­ento orien­tado a la justi­cia social y el bienes­tar humano. Por el contra­rio, las tomas de deci­si­o­nes se basan en algo­rit­mos que deter­mi­nan la repar­ti­ción de bienes y servi­cios, incluyendo la educa­ción, la salud pública, la poli­cía, el acceso al empleo y a la vivi­enda, entre otros. Así lo inter­pre­tan las inves­ti­ga­do­ras Paz Peña y Joana Varón: “Los progra­mas de lucha contra la pobreza están siendo dati­fi­ca­dos por gobi­er­nos, y se utili­zan algo­rit­mos para deter­mi­nar los bene­fi­cios soci­a­les para los pobres y los desem­ple­a­dos”, expli­can en la Revista América Latina en Movi­mi­ento. Se trans­forma, de esa manera, la expe­ri­en­cia vivida de la pobreza y la vulne­ra­bi­li­dad en datos proce­sa­bles por máqui­nas, que impac­tan sobre la vida y los medios de subsis­ten­cia de la ciuda­da­nía impli­cada.

Datos para el racismo y la segre­ga­ción de les migran­tes

Los casos ater­ra­do­res de perse­cu­ción étnica y geno­ci­dios que pare­cían leja­nos en la histo­ria, así como expre­si­o­nes de racismo que se creían casi erra­di­ca­das, podrían regre­sar de la mano de las tecno­lo­gías produ­ci­das en el norte global, advi­er­ten desde el centro de inves­ti­ga­ción en defensa de los Dere­chos Digi­ta­les R3D. Tanto es así que desde esta orga­ni­za­ción están anali­zando de manera profunda las conse­cu­en­cias soci­a­les de polí­ti­cas esta­dou­ni­den­ses que marcan una decla­ra­ción de prin­ci­pios. Que Donald Trump busque crear una base de datos con el ADN de perso­nas migran­tes es cohe­rente con su racismo evidente, no obstante, nos advi­erte de la grave­dad del asunto.

El problema con el uso de las bases de datos y progra­mas con algo­rit­mos para resul­ta­dos predic­ti­vos, en espe­cial cuando se orienta al “mante­ni­mi­ento del orden”, es que se ejecu­tan sin trans­pa­ren­cia, rendi­ción de proce­sos o invo­lu­cra­mi­ento de la colec­ti­vi­dad en las deci­si­o­nes rela­ti­vas a su apli­ca­ción o en la evalu­a­ción y super­vi­sión de sus efec­tos, lo que limita aún mas la detec­ción y correc­ción de los resul­ta­dos no dese­a­dos.

En todo el mundo y de diver­sas mane­ras, es ubicua la tecno­lo­gía de control y segui­mi­ento de perso­nas. Estas tecno­lo­gías pueden expli­carse a través del concepto de biome­tría que, en la defi­ni­ción de Wiki­pe­dia, se describe así: “(del griego bios vida y metron medida) es la toma de medi­das estan­da­ri­za­das de los seres vivos o de proce­sos bioló­gi­cos. Se llama también biome­tría al estu­dio para el reco­no­ci­mi­ento inequí­voco de perso­nas basado en uno o más rasgos conduc­tu­a­les o físi­cos intrín­se­cos”.

Acerca de los desar­ro­llos actu­a­les de colecta de datos gené­ti­cos con fines de iden­ti­fi­ca­ción, vigi­lan­cia, o predic­ción se conoce hoy solo la punta del iceberg. “Lo que sí sabe­mos, y que es una de las cues­ti­o­nes que aumen­tan los ries­gos en caso de filtra­ci­o­nes o malos usos de datos gené­ti­cos, es que a partir de infor­ma­ción biomé­trica utili­zada en la iden­ti­fi­ca­ción de un indi­vi­duo es posi­ble iden­ti­fi­car también a sus fami­li­a­res”, deta­lla Santi­ago Narváez, inves­ti­ga­dor de R3D.

Si las tecno­lo­gías biomé­tri­cas consis­ten en la reco­pi­la­ción, alma­ce­na­mi­ento y proce­sa­mi­ento de datos deri­va­dos del cuerpo y sus movi­mi­en­tos, una apli­ca­ción despro­por­ci­o­nada de este tipo de tecno­lo­gías atenta de forma directa contra los dere­chos a la priva­ci­dad, la inte­gri­dad y la auto­no­mía de las perso­nas. A esto se suman las conse­cu­en­cias nega­ti­vas como la discri­mi­na­ción de cier­tos grupos soci­a­les, como es el caso de las perso­nas migran­tes, debido a los sesgos de diseño e imple­men­ta­ción, o la restric­ción de las liber­ta­des -de expre­sión, movi­mi­ento, asoci­a­ción- de las perso­nas en gene­ral medi­ante un efecto silen­ci­oso de auto­cen­sura.

« Ejecu­tar siste­mas biomé­tri­cos en fron­te­ras y pasa­por­tes implica que el Estado detenta un mono­po­lio sobre el movi­mi­ento de las perso­nas », @peta­lo­soyCLIC PARA TUITEAR

El muro tech que Trump erige en el contexto migra­to­rio tiene por fina­li­dad ser utili­zado para dene­gar la entrada y soli­ci­tu­des de refu­gio a fami­li­a­res de perso­nas iden­ti­fi­ca­das como ‘no dese­a­bles’. “Un uso como este de los datos gené­ti­cos es la mate­ri­a­li­za­ción del discurso discri­mi­na­to­rio mane­jado por la admi­nis­tra­ción de Trump que posi­ci­ona a todas las perso­nas migran­tes como crimi­na­les. Un uso como este de bases de datos gené­ti­cas podría utili­zarse en el contexto migra­to­rio buscando justi­fi­car la discri­mi­na­ción cultu­ral y social al ligar el origen o la rela­ción gené­tica de las perso­nas con la propen­sión a come­ter críme­nes”, afirma Narváez.

Ejecu­tar siste­mas biomé­tri­cos en fron­te­ras y pasa­por­tes implica que el Estado detenta un mono­po­lio sobre el movi­mi­ento de las perso­nas. La biome­tri­za­ción de los contro­les de flujo migra­to­rio y de los contro­les iden­ti­ta­rios contri­buye con la crea­ción un mundo de vigi­lan­cia en el cual el indi­vi­duo no es libre de esca­par. Además, la simple concen­tra­ción de gran­des canti­da­des de datos perso­na­les pone en riesgo la priva­ci­dad de las perso­nas migran­tes, en caso de que ocurra una filtra­ción o que las bases sean ataca­das.

A esto se suma que las tecno­lo­gías de iden­ti­fi­ca­ción biomé­trica distan de ser perfec­tas, su uso actual deriva en iden­ti­fi­ca­ci­o­nes erró­neas. Son cono­ci­dos los casos, tanto con el reco­no­ci­mi­ento facial como con el segui­mi­ento de huellas digi­ta­les, en que la iden­ti­fi­ca­ción biomé­trica comporta sesgos que impac­tan más a perso­nas con rasgos no caucá­si­cos, a perso­nas con edad avan­zada y a niñas y niños, lo que ha produ­cido la deten­ción de perso­nas inocen­tes.

En los Esta­dos Unidos, usadas para estu­diar y luego sope­sar la poten­cial rein­ci­den­cia en críme­nes de perso­nas que viven priva­das de su liber­tad, estas tecno­lo­gías forta­le­ci­e­ron (basán­dose en bases sesga­das y ofre­ci­endo resul­ta­dos erró­neos) la actual discri­mi­na­ción que recae sobre perso­nas negras.

Cuer­pos diver­sos detrás de los datos

La exigen­cia de estos siste­mas informá­ti­cos de orga­ni­zar nues­tra diver­si­dad humana en una serie finita de cate­go­rías define una inten­ción de tota­li­dad univer­sa­li­zante. Dichos progra­mas tienen por obje­tivo faci­li­tar el trabajo obrero a los algo­rit­mos que hacen la faena de cruzar vari­a­bles y encon­trar simi­la­ri­da­des. Para que este universo se pueda orga­ni­zar, pues, se requi­ere de un cuerpo refe­rente y cate­go­rías que defi­nen lo “normal” y lo “anor­mal”. ¿Diver­sas iden­ti­da­des? ¿Tran­si­ci­o­nes de sexo/género? ** Sintax Error**.

Enton­ces, ¿cuál es el cuerpo-refe­ren­cia para los siste­mas que finan­cian nues­tros Esta­dos? La inves­ti­ga­dora Mari­anne Díazseñala que hay que poner en eviden­cia los poten­ci­a­les efec­tos de discri­mi­na­ción de pobla­ci­o­nes mino­ri­ta­rias (perso­nas con disca­pa­ci­dad, perso­nas trans­gé­nero, miem­bros de reli­gi­o­nes mino­ri­ta­rias) “a causa de la natu­ra­leza misma de los siste­mas biomé­tri­cos e iden­ti­ta­rios en gene­ral, que buscan clasi­fi­car al indi­vi­duo como parte de una taxo­no­mía prede­fi­nida, dejando fuera a todo aquel que no encaje correc­ta­mente en las cate­go­rías esta­ble­ci­das”.

Los datos biomé­tri­cos son datos perso­na­les y, por tanto, debe­rían estar prote­gi­dos por una serie de leyes pensa­das para evitar su uso despro­por­ci­o­nado. Esto es: prote­ger­los de que sean utili­za­dos sin control y, a la vez, que las perso­nas titu­la­res tengan los medios para tomar medi­das que repa­ren daños o usos abusi­vos de sus datos. “Dichas leyes impo­nen prin­ci­pios que deben de seguirse en el trata­mi­ento de datos que compo­nen cues­ti­o­nes como la nece­si­dad de obten­ción de consen­ti­mi­ento para el trata­mi­ento, la obli­ga­ción de ofre­cer infor­ma­ción completa a los titu­la­res para que estos enti­en­dan cómo serán trata­dos sus datos perso­na­les, con que fina­li­dad y puedan deci­dir si quie­ren que sean trata­dos así. También les provee a los titu­la­res cues­ti­o­nes como la cance­la­ción del trata­mi­ento de sus datos perso­na­les”, deta­lla Narváez. Las legis­la­ci­o­nes desac­tu­a­li­za­das y la falta de consi­de­ra­ción de los datos biomé­tri­cos como datos sensi­bles compo­nen el cuadro lati­no­a­me­ri­cano. En Europa, la Ley de protec­ción de datos euro­pea (Gene­ral Data Protec­tion Regu­la­tion) sentó las bases para un debate profundo sobre dere­chos y obli­ga­ci­o­nes sobre los datos de las perso­nas.

Consul­tada por Pikara Maga­zine, la inves­ti­ga­dora e inte­grante de la funda­ción Vía Libre Caro­lina Martí­nez Elebi señala que poda­mos comen­zar a rasgar y abrir una brecha en este avance hacia un futuro menos distó­pico. “No puedo hacer mucho para que me devu­el­van aque­llo que como indi­vi­duo publi­qué o los datos que ya di. Lo que puedo hacer es a futuro, como docente, madre, amiga es no seguir divul­gando los datos de otras perso­nas. Abogar no solo por el respeto hacia el uso que se hace de mis datos sino también de las demás perso­nas”.

Empren­der estos deba­tes, tradu­cir infor­ma­ción compleja, inven­tar usos radi­ca­les de tecno­lo­gías que insta­lan más opre­sión. “Comen­zar la trans­mi­sión de cono­ci­mi­ento a gene­ra­ci­o­nes mas jóve­nes para que puedan ejecu­tar un cambio. Invo­lu­crar a niños y niñas y adoles­cen­tes en usos mas críti­cos de las tecno­lo­gías”, aporta Martí­nez Elebi. Cues­ti­o­ne­mos el uso que damos a las tecno­lo­gías a diario,  cons­truya­mos una resis­ten­cia digi­tal que crezca desde la peri­fe­ria.

*pro­ce­sa­mi­ento de datos deri­va­dos del cuerpo y sus movi­mi­en­tos

Refe­ren­cias reco­men­da­das por la autora

Revista América Latina en Movi­mi­ento No. 545

Con mi cara no

How to Hide from Machi­nes