El propósito de aplicar la ética digital, además de servir para preservar la privacidad de las personas, sirve también para hacer el bien a las personas y evitar hacerles el mal. Hay veces en las que una organización sabe cómo hacer el bien y evitar hacer el mal, y hay otras en las que necesita ayuda para poder saber cómo hacerlo.
Uno de los mayores males en nuestra sociedad están siendo producidos por decisiones automatizadas y perfiles personales realizadas por organizaciones a las que no les importa hacer el mal si a través de él consigue sus objetivos comerciales y económicos.
La discriminación algorítmica es transversal a todos los sectores y está aumentando las desigualdades en la población. Y, seamos realistas, vivimos en un sistema en el que prácticamente no tenemos derecho a impugnar una decisión automatizada o un perfilado.
¿Por qué? Uno de los factores que influyen de manera decisiva es que las organizaciones no comunican cuándo un individuo, o grupo de individuos, ha sido objeto de una decisión automatizada y/o perfilado.
¿Qué implicaciones negativas tiene esto a efectos prácticos? Que no se detecta la discriminación (del tipo que sea) porque, tanto la ley como la jurisprudencia, consideran la discriminación contextual, y el uso creciente de algoritmos está interrumpiendo los mecanismos tradicionales contra la prevención e investigación de casos de discriminación.
Por otro lado, la ley de no discriminación se basa en la idea de comparación. Un grupo o persona desfavorecida recibe un trato menos favorable debido a una característica protegida en comparación con un grupo o persona que recibe un trato preferencial. Por lo tanto, las reclamaciones sólo se pueden plantear si una víctima realmente se siente en desventaja.
La persona que ha sufrido discriminación debe proporcionar evidencia de una desventaja particular. Esto, actualmente, depende de que la víctima sepa que ha sido objeto de una decisión automatizada o perfil, del contexto en el que esa desventaja se haya dado, y del conocimiento que tenga sobre los criterios en los que se haya basado tal perfilado.
A su vez, las ventajas competitivas que las decisiones automatizadas aportan a las organizaciones es evidente. Mayor eficiencia, ventajas competitivas y un enorme beneficio económico, pero pueden causar un enorme impacto en nuestros derechos fundamentales. Recuerden el artículo sobre cómo el Código Postal es usado para discriminar precios.
EVALUACIÓN DE IMPACTO DE DERECHOS FUNDAMENTALES.
¿De qué depende de que se haga una evaluación de impacto de derechos fundamentales y ética desde el diseño? De que la organización y sus integrantes, empezando por su CEO, tengan sus valores e identidad definidos, que tengan como uno de sus objetivos el preservar la privacidad de las personas y el respeto a sus derechos fundamentales. Esto, como base.
VALORES, ese aspecto fundamental de las organizaciones para su funcionamiento ético, y tan (mal) usados, en muchas ocasiones, para limpiar su imagen mientras producen daño a la sociedad.
¿Por qué es fundamental que las organizaciones que usan decisiones automatizadas y perfiles personales incluyan valores desde el diseño de su tecnología? Por una razón muy sencilla, porque es esencial que estén diseñados para adoptar, aprender y seguir las normas y valores de la comunidad a la que sirven y de las personas que viven en ella.
Pero no sólo me refiero a la ley de protección de datos. También es necesario implicar las leyes que se apliquen en el contexto en el que las decisiones automatizadas y perfilado se desplieguen, o se vayan a desplegar (contexto financiero, trabajo, vivienda, social…). Así como, las normas relativas a la discriminación, igualdad.
El RGPD es uno de los mayores avances en materia de protección de datos a nivel global, pero por sí solo, no es la única respuesta para hacer que las decisiones automatizadas y perfiles cumplan con la ley, y sean dignos de confianza.
VALORES.
Siguiendo con los valores y explicado de una manera muy escueta, en primer lugar, en la etapa de diseño. En esta etapa se determinará qué tipos de datos se usarán para la alimentación del algoritmo, y cuáles se dejan fuera.
La decisión de elegir estos datos puede ser (y, de hecho, lo es) el resultado de los sesgos de las personas que los seleccionan. Por lo tanto, desde el diseño esta decisión automatizada o perfil ya está predestinado a provocar discriminaciones y sesgos.
Aquí se ve claramente cómo la colaboración de un equipo multidisciplinar más que importante, es crucial. Científicos sociales, humanistas, éticos, filósofos, juristas, científicos de datos, ingenieros…
En segundo lugar, los valores intervienen en la determinación de las ponderaciones del modelo estadístico para lograr el resultado deseado. No obstante, los posibles fallos deben ser advertidos y resueltos por el diseñador, por ejemplo, haciendo funcionar el sistema en entornos experimentales pero seguros, lejos del público.
En tercer lugar, el resultado deseado, que es la decisión automatizada o el perfilado, puede ser contrario a los derechos fundamentales de las personas y no preservar su privacidad. Aquí, entra la comunicación a las personas de que han sido objeto de una decisión automatizada y/o perfilado, dar a conocer los parámetros, impugnar la decisión automatizada y la intervención humana.
Una vez entrenado, el sistema puede utilizarse para inferir nueva información y hacer predicciones basadas en otros datos: esto implica introducir esos datos en el sistema para que recorra el modelo, que en última instancia produce el resultado adecuado.
Múltiples cuestiones se originan en el uso del aprendizaje automático, como el sesgo, la injusticia, la discriminación en los datos de entrada (en la etapa de captación de datos personales) en el análisis y el resultado (la etapa de despliegue o de computación) y siempre que haya intervención humana, en la etapa final de la toma de decisiones, así como la ausencia de transparencia, explicabilidad y responsabilidad que se han identificado como problemáticas en las decisiones automatizadas.
Las decisiones automatizadas que tiene efectos legales o similares y significativos para los individuos sólo es válida cuando se basa en el consentimiento explícito de un individuo. El artículo 7 (1) GDPR estipula que la carga de la prueba de que se ha dado el consentimiento (explícito) recae en el controlador.
Este estricto enfoque del uso de la decisión automatizada sustenta la necesidad de una evaluación de los efectos de la decisión automatizada en los derechos fundamentales en una etapa temprana, deben abordarse en la etapa de diseño y desarrollo.
En la etapa posterior al despliegue, queda poco espacio para que las organizaciones hagan los ajustes apropiados, mientras que la confianza de los consumidores puede resultar gravemente dañada.
Por otro lado, una evaluación del impacto sobre los derechos fundamentales y ética encaja perfectamente en la Evaluación de Impacto de Protección de Datos.
En una Evaluación de Impacto de Protección de Datos, en el sentido del RGPD, contiene por lo general al menos:
1) Una descripción sistémica de la operación de tratamiento prevista, los fines del tratamiento y el interés legítimo que persigue el responsable del tratamiento;
2) Una evaluación de la necesidad y proporcionalidad de las operaciones de tratamiento en relación con los fines;
3) Una evaluación de los riesgos para los derechos y libertades de las personas físicas y
4) Las medidas previstas para hacer frente a los riesgos, incluida, entre otras cosas, la demostración del cumplimiento del RGPD, teniendo en cuenta los derechos e intereses legítimos de los interesados y otras personas afectadas.
Paso 1: Establecer la línea de base
El primer paso es responder a la pregunta: Qué derechos fundamentales se ven afectados, incluida una primera evaluación de su gravedad.
En una primera aproximación, podemos tener en cuenta los siguientes para nuestro análisis:
I. Derechos de privacidad y protección de datos – que comprenden (y no se limitan a) el derecho a la vida privada, la autonomía personal, la inviolabilidad del hogar, la privacidad física, la correspondencia secreta, el desarrollo de la propia identidad, el derecho a tener una convicción o una creencia.
II. Derechos de igualdad – ante la ley, entre hombres y mujeres, prohibición de la discriminación por religión, cultura, ideas políticas, integración de personas discapacitadas.
III. Libertad de expresión y de información, libertad de reunión y de asociación.
MUY IMPORTANTE. Las tecnologías de toma de decisiones automatizadas y perfiles personales afectan a todo el espectro de derechos políticos, civiles, económicos, sociales y culturales garantizados por la Declaración Universal de Derechos Fundamentales
Paso 2: Identificar los impactos de la IA y solventarlos.
El segundo paso consiste en identificar cómo la introducción de la IA cambia los impactos sobre los derechos fundamentales del campo en el que se introduce la tecnología.
¿Dónde se producen estos impactos sobre los Derechos Fundamentales? Fundamentalmente provienen de tres fuentes:
De la cantidad de datos que se recopilen y de la transparencia u opacidad a la hora de hacerlo, de la calidad de los datos de capacitación, y del diseño del sistema.
Esas decisiones de diseño pueden tener repercusiones tanto positivas como negativas en los derechos fundamentales, que se basarán en las experiencias vitales individuales y en los prejuicios de los diseñadores.
La IA conlleva el grave riesgo de perpetuar, amplificar y, en última instancia, osificar los sesgos y prejuicios sociales existentes, con las consiguientes consecuencias para el derecho a la igualdad.
La IA no tiene ninguna capacidad de modificar su propio sesgo. En cambio, requieren una atención constante por parte de los responsables del diseño y el funcionamiento de esos sistemas para garantizar que sus resultados sean coherentes con la evolución de las nociones de equidad.
Vamos a ver ahora, de manera escueta, las consecuencias para los derechos fundamentales de la introducción de la toma de decisiones sobre la IA en dos campos:
○ Finanzas (puntuaciones de crédito)
○ Recursos humanos (contratación y reclutamiento)
1. Finanzas (puntuaciones de crédito)
¿Qué Derechos Fundamentales se pueden ver afectados?
1. Derecho a la no discriminación
2. Derecho a la igualdad ante la ley
La IA puede reducir la discriminación en los préstamos al proporcionar determinaciones más exactas de la solvencia de los grupos marginados, pero también puede discriminarlos de formas novedosas.
3. Derecho a la privacidad y a la protección de datos. Los sistemas de puntuación crediticia basados en la IA se basan en la recopilación, el almacenamiento y el análisis de grandes cantidades de datos personales, lo que plantea importantes problemas de privacidad.
4. Libertad de expresión e información
5. Derecho a la libertad de reunión y asociación pacífica
Dado que « todos los datos son datos de crédito » para las calificaciones crediticias generadas por la IA, es posible que las personas se asusten de expresarse o asociarse con ciertos otros por temor a que esto afecte a su capacidad de pedir prestado.
El volumen de datos que los sistemas de puntaje crediticio basados en la IA recogen y analizan es apabullante. Hay bancos que tienen en cuenta más de 3.000 variables para decidir si ofrecen, o no, un crédito, como por ejemplo cómo el solicitante tiende a teclear, lo que aparentemente se correlaciona con un mayor riesgo de impago.
También examinan toda nuestra la huella digital, incluyendo el uso de las redes sociales, la geolocalización, los hábitos de navegación en su web, el historial de uso del teléfono (incluyendo mensajes y los registros de llamadas), el comportamiento de compra.
Sin embargo, este nuevo enfoque también conlleva riesgos considerables. Uno de ellos se deriva de la calidad y precisión de los datos utilizados para entrenar estos sistemas, así como de la imparcialidad y precisión de los datos que estos sistemas utilizan para decidir sobre la solicitud de crédito de un individuo en particular.
Otro problema surge de las decisiones subjetivas que los ingenieros toman sobre cómo codificar y categorizar los datos que alimentan en sus algoritmos, aparentemente objetivos. Por ejemplo, hay bancos que traducen ciertas variables, como el tiempo que uno pasa leyendo los términos y condiciones de su sitio web, en valores categóricos del 1 al 10.
Otra de las variables está relacionada con su entorno, de manera que pueden ser discriminados o recompensados en función de las características de su red personal.
Si hay dos individuos en una posición financiera idéntica, pero los amigos del primer individuo viven en vecindarios « ricos » mientras que los amigos del segundo viven en vecindarios « pobres », un algoritmo puede determinar que el primero tiene un mejor riesgo crediticio que el segundo.
Estas decisiones pueden correlacionan con clasificaciones como las basadas en la raza, género o religión, provocando graves casos de discriminación.
El uso de la IA en la toma de decisiones financieras puede incluso suponer una vulneración del derecho de libertad de opinión, expresión y asociación de las personas, al ser puntuados dependiendo de las actividades en las que participen y que, en opinión del banco, afectarán negativamente a su puntuación crediticia.
Se han dado casos en los que una entidad financiera redujo el límite de crédito a clientes que habían incurrido en gastos en consejeros matrimoniales, talleres de reparación y recauchutado de neumáticos, bares y clubes nocturnos, salas de billar, casas de empeño, salones de masaje y otros.
En una época en que « todos los datos son datos de crédito », las personas pueden sentirse paralizadas al expresar ciertos puntos de vista o asociarse con otros, por temor a que un algoritmo utilice su comportamiento en su contra en el contexto financiero.
2. Recursos Humanos.
¿Qué Derechos Fundamentales se pueden ver afectados?
1. Derecho a la no discriminación
Los sistemas de contratación basados en la inteligencia artificial pueden perpetuar las pautas de discriminación en el empleo debido a los sesgos en los datos de capacitación, aunque podrían programarse para evitarlo.
2. Derecho a la privacidad y a la protección de datos.
Especialmente si comparten sus datos con los empleadores, los sistemas de contratación basados en la inteligencia artificial que sondean una amplia variedad de fuentes de datos pueden afectar a la privacidad de los solicitantes de empleo y de los empleados también.
3. Derecho a la libertad de opinión, expresión e información
4. Derecho a la reunión y asociación.
Dado que « todos los datos » podrían ser « datos de contratación » para la IA, la gente podría sentir miedo a la hora de expresarse libremente o asociarse con ciertas otras por miedo al impacto en su empleabilidad.
Cada vez más, los empleadores del sector público y privado recurren a la IA para que les ayude en el proceso de contratación por al menos dos razones:
La primera es la capacidad: el número de solicitantes por puesto se ha multiplicado en los últimos siete años, mientras que la dotación de personal en los departamentos de recursos humanos se mantiene estable.
La segunda es la equidad: hay una creciente conciencia de que los procesos de contratación están plagados de prejuicios y discriminación implícitos, y que las decisiones de contratación a menudo se reducen a « ¿es esta persona como yo? ». Muchas organizaciones creen que la IA puede ofrecer al menos una solución parcial a este problema.
La responsabilidad de las empresas de respetar los derechos fundamentales se aplica no sólo a los servicios que prestan y los productos que venden, sino también a sus operaciones internas. Los procesos de contratación defectuosos pueden tener importantes repercusiones en el derecho a la no discriminación, el derecho a igual salario por igual trabajo y los derechos a la libertad de expresión y asociación.
Sobre este tema ya escribí un hilo y un artículo que pueden leer aquí.
Esto es todo por hoy, como siempre, gracias por leerme.