Cuando los algoritmos de los servicios sociales se olvidan de las mujeres con Cristina Pombo

Cristina Pombo es asesora del Sector Social del Banco Interamericano de Desarrollo (BID). Es experta en temas operativos y estrategias especiales en educación, salud, protección social, mercados laborales, género, diversidad y migración.

Pombo también lidera la estrategia de transformación digital para América Latina y el Caribe. Como tal, encabezó el clúster Social Digital y de Datos que incluye iniciativas que aprovechan las tecnologías digitales para mejorar los servicios sociales como fAIr LAC, la primera alianza público-privada para un uso responsable de la inteligencia artificial en la región.

¿Qué entendemos por el Estado Digital de Bienestar?

En un estado de bienestar digital, como afirma Philip Alston de las Naciones Unidas, los sistemas de protección social y asistencia están impulsados cada vez más por los datos y las tecnologías digitales, con énfasis en los riesgos asociados, como la distopía digital.

Sin embargo, para nosotros, en el BID, un estado de bienestar digital puede considerarse «inteligente» si la definición aumenta y fortalece el papel preventivo del Estado utilizando tecnologías digitales e inteligencia artificial para tomar y apoyar decisiones de políticas públicas.

 

 

'The Guardian' afirmaba recientemente que los servicios sociales en Gran Bretaña cada vez estaban más dominados por consultores tecnológicos sobre los que recaían ciertas sospechas. ¿Es este un riesgo al que nos exponemos en el proceso de digitalización del estado del bienestar?

Es un riesgo real. Actualmente, estamos viendo cómo los gobiernos están usando más tecnología, como la Inteligencia Artificial, para proporcionar servicios sociales como por ejemplo transferencias de efectivo.

Desde nuestra perspectiva, estas herramientas pueden ser muy útiles para los ciudadanos, pero sólo si están diseñadas teniendo en cuenta principios clave como la ética, la privacidad, la transparencia y, tal vez el más importante, el diseño centrado en el usuario.

Los servicios sociales digitales no pueden diseñarse con el único principio de facilitar el trabajo a los gobiernos, los departamentos estatales o los servidores públicos. Estas herramientas deben diseñarse teniendo en cuenta el interés de los ciudadanos, y con esto nos referimos a considerar las necesidades de los estudiantes en el sector educativo, las necesidades de los pacientes en el sector de la salud, etc.

¿Existe una brecha de género en la digitalización de los sistemas de bienestar y por qué?

Hay varias brechas de género cuando hablamos de digitalización de los sistemas de bienestar: en el acceso digital, la propiedad de los dispositivos digitales, el dominio del entorno digital, e incluso en la capacidad de hacer un uso útil de la tecnología.

Un factor a tener en cuenta es si son o no asequibles, pero también hay importantes normas socioculturales que restringen el acceso de las mujeres y, por supuesto, la ubicación. Recientemente hemos publicado un estudio con el IICA titulado «Desigualdad de género digital en América Latina y el Caribe», y básicamente lo que encontramos es que las mujeres rurales son el grupo menos conectado a las Tecnologías de la Información y la Comunicación (TIC) en la mayoría de los países de América Latina y el Caribe.

Además, hay otros fenómenos a tener en cuenta, como por ejemplo el sesgo en la recopilación de datos y la baja representación de las mujeres en el diseño de las herramientas.

 Muchos sostienen que una forma prometedora de asegurar que el sesgo histórico de género no se amplifica y proyecta en el futuro es aumentar la diversidad del pensamiento a través del número de mujeres en la tecnología. Sólo el 22% de los profesionales de IA en todo el mundo son mujeres, en comparación con el 78% que son hombres según el Foro Económico Mundial.

¿Cuáles son los riesgos éticos potenciales de esto?

La Covid19 ha acelerado los cambios digitales en la forma en que se producen los alimentos y su suministros en las zonas rurales, pero también en la forma en que comercializan. Actualmente, las mujeres están desconectadas y, por lo tanto, se les está dejando al margen de esta importante transformación. La principal consecuencia de estos vacíos es que las mujeres se están quedando atrás en las oportunidades de mejorar sus vidas.

Pero este no es el único problema, también hemos visto que las brechas de género en la inclusión digital, si no se abordan adecuadamente, probablemente conduzcan a desigualdades de género en muchos otros ámbitos, como los mercados de trabajo e incluso la inclusión financiera. Esto es porque las tecnologías digitales son omnipresentes y la digitalización afecta a todas las áreas de nuestras vidas. Además, cuantos más servicios básicos son prestados por las tecnologías digitales, mayor podrían ser las brechas de género en el bienestar.

Los algoritmos utilizados por las autoridades públicas en EEUU para juzgar el riesgo de reincidencia o para evaluar ayudas por incapacidad afectan directamente los derechos humanos. ¿Son las mujeres especialmente vulnerables en este sentido?

Seguro. Se debe a que históricamente siempre se han usado datos masculinos en sistemas creados también para las mujeres.

Tomemos el ejemplo concreto de cinturones de seguridad, reposacabezas y airbags en automóviles, diseñados principalmente con datos recogidos con crash test dummies de características masculinas. Los senos de las mujeres y los cuerpos de embarazadas no son tenidos en cuenta en las medidas «estándar». Como resultado, las mujeres tienen un 47% más de probabilidades de resultar heridas graves y un 17% más de probabilidades de morir que un hombre en un accidente similar. Lo explican Caroline Criado- Perez, autora de Invisible Women, y Lauren Klein, coautora de Data Feminism, en una reciente entrevista de la BBC.

Si la inteligencia artificial se basa en datos sesgados predominantemente de hombres y/o basadas en perfiles masculinos, pueden suceder cosas terribles.

Además de los sesgos de género, la IA se enfrenta a otros desafíos de sesgo de diversidad, como la raza y la etnia. Esto puede ser preocupante, por ejemplo, si pensamos que la inteligencia artificial tiene que diagnosticar el cáncer de piel, algo en lo que identificar con exactitud el color y sus variaciones es vital. 

Joy Buolamwini, fundadora de la Liga de la Justicia Algorítmica, descubrió que la proporción de imágenes en las que se basaban varios algoritmos de reconocimiento facial consistía en 80% de imágenes de personas blancas y 75% rostros masculinos. Como resultado, los algoritmos tenían una precisión del 99% en la detección de caras masculinas. Sin embargo, en el caso de las mujeres negras bajaba al 65%.

Además, según Foreign Policy, un municipio de Dinamarca ha experimentado con un sistema que utiliza algoritmos para determinar si existía riesgo de abuso para un menor, a partir de lo cual las autoridades identificaban a familias susceptibles de diferentes intervenciones como la retirada de la custodia. ¿Podemos confiar en las máquinas para decisiones como esta ?

Nuestra experiencia hasta ahora es que las decisiones en los servicios sociales no pueden ser tomadas enteramente por máquinas. Hay un gran ejemplo de Washington DC. Puedes leerlo aquí.

Debemos usar la tecnología como una herramienta para ayudar a los humanos a hacer mejor su trabajo. Imagine un médico que pueda usar un algoritmo para detectar un problema específico en una radiografía; le permitirá pasar más tiempo con el paciente y diseñar el mejor tratamiento para él / ella. No creemos en la tecnología que sustituye a los seres humanos, sino que complementa.

¿Cómo podemos asegurarnos de que el estado de bienestar digital sea igualitario en términos de género?

Desde el BID apoyamos los programas para cerrar estas brechas mediante el uso de servicios sociales digitales. Un buen ejemplo es el programa Prospera en México, uno de los programas de transferencias condicionales de efectivo más antiguos. Promueve la salud materna e infantil.

El programa estaba dirigido a embarazadas o madres de bebés. Recibieron una solución móvil donde podían aprender y rastrear las diferentes etapas de sus embarazos. Esta solución también les ofrecía consejos de salud en áreas como la nutrición y la actividad física y les permitió identificar factores de riesgo que potencialmente podrían conducir a complicaciones en el nacimiento o a la muerte.

Los resultados de este programa piloto demostraron su eficacia en la salud del bebé, concretamente en la altura y el peso al nacer, y tuvieron un efecto en la duración del embarazo y el número de consultas prenatales, que son elementos clave para prevenir complicaciones al nacer.

Por último, ¿qué buenas noticias podría traer el estado digital del bienestar a la mujer?

Si se acelera la tasa de adopción de la tecnología por parte de las mujeres, podría ser un pilar para acortar la brecha de género.