- Los gobiernos utilizan cada vez más sistemas automatizados impulsados por tecnologías emergentes como blockchain e inteligencia artificial para ofrecer servicios públicos de manera más eficiente.
- ¿Pero cuáles son las consecuencias para la sociedad y los ciudadanos como Salvador?
Conoce a Salvador
Es el año 2030 y Salvador saborea una copa de vino para celebrar la llegada de su jubilación. Taxista de toda la vida, intercambia historias y pequeñas conversaciones con los demás clientes habituales del bar que está debajo de su humilde apartamento de un solo dormitorio. Después de subir trabajosamente las escaleras, Salvador enciende el portátil de 10 años que le regaló un vecino para revisar su correo electrónico, algo que hace cuando se acuerda (en raras ocasiones). Viudo y sin hijos, casi nadie le envía correos electrónicos.
Salvador se sorprende al encontrar un mensaje que recibió hace seis semanas que le insta a reclamar su prestación de atención sanitaria para jubilados antes de que acabe el mes, o se arriesga a perderla. De repente recuerda una carta que recibió antes de mudarse a un piso más barato en la que decía que el sistema público de prestaciones se había vuelto completamente digital y necesitaba obtener un nuevo tipo de identificación. Asustado, Salvador llama al número que aparece en el correo electrónico. Una voz robótica le pide que permanezca a la espera hasta que, finalmente, logra hablar con un humano.
Con el pulso acelerado, Salvador explica su situación a la trabajadora social. Todas sus prestaciones han sido suspendidas, pero puede recurrir la decisión si lo desea. ¿La razón? «Incumplimiento del proceso». Salvador se las arregla para iniciar el proceso para recurrir, pero después de meses de espera queda consternado al descubrir que su solicitud ha sido rechazada. Al llamar nuevamente a la línea de ayuda, la asistente social le explica que su perfil ha sido marcado como «en riesgo», pero que no le puede dar más información. No ha cobrado la prestación durante meses y apenas le quedan ahorros. Ya no puede pagar sus medicamentos para el corazón, perdió el acceso al transporte gratuito y no puede llegar a sus próximas citas médicas.
Excluido completamente del sistema, la salud de Salvador empeora. Se le deniega la entrada cuando intenta ingresar a una clínica pública, cuyo sistema de reconocimiento facial no lo reconoce; después de todo, no registró su nueva identificación digital durante el período de transición de 1 año.
Pronto, transcurre un año. Después de sufrir una insuficiencia cardíaca debido al estrés, la falta de medicamentos y la desnutrición, Salvador finalmente pierde su apartamento y termina en la calle. Ya no tiene forma de descubrir que ha ganado el recurso por despido injustificado y que sus prestaciones han sido restablecidas.
¿Empatía automatizada?
Los gobiernos utilizan cada vez más sistemas automatizados para prestar servicios públicos de manera más eficiente. ¿El problema? Estos sistemas pueden fallar a las personas que más los necesitan: las personas en situación de vulnerabilidad y marginados, especialmente aquellas personas en situaciones económicas precarias. Un falso positivo puede inclinar la balanza de toda la vida de una persona.
Situaciones como la de Salvador no están lejos de la realidad actual. En Indiana, los funcionarios estatales temían que un sistema que permitiera a los trabajadores sociales y a los usuarios desarrollar relaciones personales conduciría a más fraude después de que un caso de corrupción le costara al estado 8000 dólares. Después de que 1500 trabajadores sociales locales fueran reemplazados por formularios online y call centres, la denegación de prestaciones aumentó en un 54%..
La organización benéfica Golden Opportunity Skills and Development (GOSAD) informa que el 80% de los usuarios del sistema de asistencia social Universal Credit del Reino Unido están excluidos digitalmente. «La trayectoria del demandante no solo es poco realista, sino imposible para los excluidos digitalmente, los más necesitados», explica Sharmarke Diriye, líder del programa, en este webinar. «No se ha consultado a nadie: estos sistemas se han introducido sin tener en cuenta a las personas. Cuando las autoridades públicas co-diseñan, lo hacen con su propio personal, no con los usuarios reales de estos servicios.»
No es que los sistemas automatizados sean propiamente menos efectivos en el sector público en comparación con los que conocemos en el sector privado, como Cabify o Deliveroo. Según Virginia Eubanks, autora de «La automatización de los prejuicios», el riesgo proviene de usar estos sistemas para «anular la empatía» y «evitar algunas de las cuestiones morales más acuciantes de nuestro tiempo», como la pobreza, en el caso de Salvador.
¿El futuro digital conllevará externalizar todas las decisiones difíciles a las máquinas? En el Think Tank de Digital Future Society, estamos analizando las respuestas de preguntas como estas.
Prejuicio exacerbado
En la prestación de servicios públicos siempre han existido el prejuicio, el error y la corrupción humanos, creando profundas desigualdades durante décadas antes de la llegada de los sistemas de inteligencia artificial. Lo que es importante recordar, afirma Eubanks, es que los «sistemas automatizados de toma de decisiones en realidad no eliminan ese prejuicio, simplemente lo trasladan».
En el caso de Salvador, el algoritmo que decidía si debía recibir sus prestaciones estaba usando proxies en lugar de pruebas reales de mala conducta. El hecho de que condujera un coche todos los días (como taxista) después de visitar regularmente un bar (donde siempre va a almorzar) le dijo al sistema que era probable que fuera propenso a conducir ebrio: una inferencia que, aunque es comprensible, no es cierta en su caso. Además, la asistente social no pudo explicarle a Salvador cómo o por qué el sistema llegó a esa decisión; solo sabía que no puede pagar la prestación.
Ciudadanos en el centro de la innovación pública
Pero esto no significa que no existan modelos de éxito de inteligencia artificial en el gobierno. Son difíciles de construir y deben contar con co-diseño e incorporar la interacción humana a lo largo del proceso. Un ejemplo es el sistema mRelief de Chicago. El sistema ayuda a los ciudadanos a determinar la idoneidad de los programas gubernamentales conectándolos a una especie de «sherpa digital» (una persona real) que los guía a través de cada paso de los procesos online. La orientación puede recibirse en persona o por mensaje de texto, asegurando que cada interesado obtenga los beneficios a los que tenga derecho.
Volviendo a la historia de Salvador, ¿cómo sería un futuro digital más inclusivo? Sabiendo que está a punto de alcanzar la edad de jubilación, que vive solo y que está cerca del umbral de la pobreza, el gobierno enviaría a Salvador un sherpa digital en lugar de un correo electrónico para asegurarse de que actualiza su identificación digital. En lugar de obligar a Salvador a visitar un sitio web o manejar el correo electrónico, las actividades clave o los cambios en el sistema público de prestaciones se adaptarían a su experiencia, simplificando el proceso y brindando soporte e información tecnológica solo cuando fuese necesario, reconociendo cuándo la opción digital no fuese viable y ofreciendo una alternativa analógica.
Con seres humanos trabajando de manera integral con la tecnología emergente, los servicios públicos podrían ser más personalizados, efectivos e inclusivos.
¿Dónde funciona esto en la vida real? En Taiwán, donde la ministra de digitalización Audrey Tang visita a los ciudadanos excluidos digitalmente (a menudo ancianos o personas que viven en zonas rurales del país) en lugar de esperar que visiten un sitio web o descarguen una aplicación. (Escucha aquí a la ministra Tang explicar cómo se introduce la inclusión en el sistema público de innovación de Taiwán)
Con seres humanos trabajando de manera integral con la tecnología emergente, los servicios públicos podrían ser más personalizados, efectivos e inclusivos. Pero primero, los gobiernos deben comprender y reconocer las consecuencias morales de sus decisiones tecnológicas. Quizás, más importante que comunicar los detalles técnicos de cómo funcionan las tecnologías emergentes (¿realmente le importa a Salvador si el sistema que proporciona sus prestaciones funciona con tecnología blockchain o inteligencia artificial?), los gobiernos podrían invertir para asegurarse de que los nuevos sistemas automatizados estén diseñados por y para las personas a las que están destinados. El ahorro de costes generado por las ganancias en eficiencia de la implementación de la tecnología emergente en el gobierno puede y debe ser reinvertirse en esos esfuerzos de inclusión.
Historia de Salvador presentada por Digital Future Society
Aunque Salvador es una persona inventada, su historia surgió de un taller del think tank de Digital Future Society, un grupo de académicos, investigadores, legisladores, emprendedores, líderes corporativos y expertos de la sociedad que se han unido en un espíritu de colaboración para explorar el impacto de la tecnología en la sociedad.
Trabajando bajo el tema de la innovación pública, este grupo de trabajo particular se centró en los retos y oportunidades del uso y la regulación de la tecnología emergente, como la inteligencia artificial y el blockchain, en los servicios públicos y por parte de los gobiernos. En los próximos meses, el grupo de trabajo publicará un informe que detallará qué deben tener en cuenta los legisladores a la hora de diseñar, utilizar y gestionar esos sistemas, especialmente cuando se trata de grupos marginados como familias con pocos recursos económicos, pequeñas empresas y personas excluidas digitalmente.
Más información
¿Deseas saber más sobre este tema? Visita los siguientes recursos:
Articles
- How do you govern machines that can learn? Policymakers are trying to figure that out
- How governments are adopting blockchain and AI in advanced economies
- AI Policy around the world compiled by Charlotte Stix
Videos
Podcasts
- CivicTech.Chat – on breakthroughs in public service technology
- OneTeamGov – real conversations with awesome people doing interesting stuff in government
- Go Public – stories of government getting it done and challenging the status quo
Books
- Automating Inequality by Virginia Eubanks
- Weapons of Math Destruction by Cathy O’Neil