Si bien los gobiernos de todo el mundo continúan integrando sistemas de IA en su flujo de trabajo, el público aún desconoce cómo esto afecta sus vidas de múltiples maneras.
En los últimos años se ha hecho más que evidente que los procesos de la administración pública están en plena transformación. Hasta hace poco, todas las tareas y decisiones administrativas recaían en seres humanos, pero cada vez más, la IA ha asumido un papel más crítico en la gobernanza internacional.
Ahorro de tiempo y dinero
Las agencias nacionales se han beneficiado enormemente de la implementación de inteligencia artificial para agilizar procesos y tomar decisiones simples. Además de ser rentable, al «prescindir» de empleados humanos (administrativos y sociales) a la hora de conceder programas de ayudas públicas, todo el proceso se vuelve más rápido. Pero hay una trampa: la adopción temprana y entusiasta de una IA que aún no es completamente segura puede conducir a múltiples errores e injusticias. El «sesgo de confirmación» en el que los funcionarios ceden a la decisión del algoritmo en contra de su juicio y experiencia, o la falta de análisis y matiz, pueden ser algunos de ellos.
Prueba y error
La IA puede revolucionar las administraciones civiles, pero debemos recordar que aún puede ser un sistema falible. La adopción generalizada demasiado temprana y urgente de IA también suele ser motivo de discriminación. Como discutimos en nuestro artículo Discriminación algorítmica de género y la economía de plataforma, uno de los ejemplos más claros es cómo los algoritmos discriminan en función del género. Hay muchos otros casos en los que la aplicación de IA sin supervisión humana puede dar lugar a injusticias que amplían la brecha económica, de género, cultural y social en nuestro estado de bienestar.
Supongamos que hablamos de la justicia, una de las ramas de la función pública que muchas veces se empantana y arrastra a los ciudadanos por trámites que pueden llevar años. La implementación de tribunales electrónicos en los Países Bajos —donde ambas partes acuerdan someterse a un proceso automatizado para resolver disputas y donde la sentencia es supervisada y confirmada por un ser humano— generó quejas sobre la opacidad del sistema. Esta falta de información condujo a una batalla legal sobre cuán apropiada era esta tecnología.
En junio de 2020, estudiantes ingleses de A-Level (nivel análogo a la Selectividad) y sus familias se reunieron frente al Parlamento Británico para protestar por los resultados que arrojaba el algoritmo para asignar calificaciones. Los exámenes habían sido cancelados debido a la pandemia, y este era el sistema que el gobierno había elegido para evaluarlos. Los estudiantes detectaron que el algoritmo afectaba de manera desproporcionada a estudiantes de clase trabajadora y de entornos desfavorecidos. Los resultados vieron un aumento del 4,7 % en las calificaciones sobresalientes en las escuelas independientes de pago, mientras que las universidades públicas de educación superior y las universidades de sexto grado vieron solo un aumento del 0,3 %. Esta rebaja provocó que los estudiantes de entornos desfavorecidos no pudieran acceder a la educación universitaria.
La adopción temprana y entusiasta de una IA que aún no es completamente segura puede conducir a múltiples errores e injusticias.
Los sistemas que pretenden diagnosticar enfermedades o que califican el crédito del cliente con un conjunto de datos limitado pueden no ser confiables porque tienden a pasar por alto matices que pueden cambiar radicalmente el resultado. En Francia, el algoritmo Score Coeur ha permitido emparejar donantes con receptores de corazón de forma más eficaz que el antiguo manual que dividía los casos en «emergencia» y «súper emergencia». Sin embargo, después de un período, se descubrió que los datos de los pacientes a menudo no se actualizaban y que había señales de alerta sobre datos falsos en hasta uno de cada cuatro pacientes en un hospital, lo que en general ponía en peligro la objetividad y el éxito del sistema.
La necesidad de la supervisión de la IA
Dado que “el combustible de la inteligencia artificial son los datos personales”, como bien dice David Santos, jefe de la asesoría jurídica de la Agencia Española de Protección de Datos (AEPD), las políticas de supervisión y control a nivel europeo son más necesarias que nunca.
La Comisión Europea ha lanzado varias iniciativas para aprovechar los riesgos que plantea la IA mientras se mantiene la competitividad en los mercados globales, se pone fin al sesgo y la discriminación y se protege a los ciudadanos europeos de las prácticas depredadoras por parte de las gigantescas empresas que prosperan con los datos. La Ley de Inteligencia Artificial de la UE proporcionará el marco necesario para los sectores público y privado y se convertirá en «un estándar global que determina en qué medida la IA tiene efectos positivos en lugar de negativos en la vida superior dondequiera que estés».
“El combustible de la inteligencia artificial son los datos personales”, David Santos, jefe de la asesoría jurídica de la Agencia Española de Protección de Datos (AEPD).