La IA, los algoritmos y la automatización se están incorporando cada vez más al vocabulario cotidiano. A medida que aumenta el uso de la IA, crece la necesidad de comprender de qué manera, exactamente, pueden tener un impacto directo en la vida de las personas la digitalización de los servicios públicos y el uso de la automatización. Una mera equivocación al marcar una casilla en una solicitud online puede hacer que a todo un grupo de personas se le deniegue una ayuda a la que tiene derecho; un error de cálculo en un control policial puede ser un factor de vida o muerte; una alerta pasada por alto puede dar lugar a un mal uso del dinero de los contribuyentes.
Cuanto más se delegan las decisiones en algoritmos, más necesitamos comprender cómo se toman esas decisiones y qué información se utiliza para tomarlas.
Este informe se basa en los trabajos previos de Digital Future Society sobre los sistemas automatizados de toma de decisiones (ADMS), y continúa profundizando en la comprensión de su impacto social.
También continúa el esfuerzo de Digital Future Society por entender el impacto social que se deriva del uso de los ADMS. Por lo tanto, este informe no trata los aspectos técnicos de los ADMS, sino que se centra en los ADMS como sistemas sociotécnicos, es decir, sistemas que están impregnados de los valores, perspectivas y sesgos de las personas que los crean y los utilizan.
Además, pretende servir de puente entre los conocimientos de diferentes expertos del mundo académico, el sector público y las organizaciones de la sociedad civil, para ilustrar la complejidad que supone cada herramienta.
El presente informe explora cuatro estudios de caso de ADMS utilizados por el sector público español que han llamado la atención de los medios de comunicación. Son los siguientes:
BOSCO – Una herramienta que determina si se tiene derecho a una subvención nacional de la factura eléctrica.
RisCanvi – Un sistema que calcula el riesgo de reincidencia de los reclusos en Cataluña.
VioGén – Un mecanismo de la Policía Nacional que predice el riesgo de volver a ejercer violencia de género.
SALER – Un sistema que prevé casos potenciales de corrupción en Valencia.
Cuantas más decisiones deleguen las sociedades a los algoritmos, más necesitamos comprender cómo se toman estas decisiones y qué información se utiliza para tomarlas.
Tanya Álvarez, Investigadora de Digital Future Society Think Tank
RisCanvi es una herramienta utilizada en el sistema penitenciario catalán para predecir la probabilidad de reincidencia y reincidencia violenta de la población reclusa.
Cuatro casos de estudio de ADMS utilizados por el sector público español que han llamado la atención en los medios
En 2018 se rechazaron las solicitudes de más de medio millón de familias al subsidio de la factura energética. Esto llamó la atención de Civio, una organización sin ánimo de lucro cuya principal misión es asegurarse de que la Administración pública actúe como debe. Según Civio, el rechazo masivo se debe, en parte, al uso por parte del gobierno de un software para determinar la elegibilidad de los solicitantes. Este software se llama BOSCO. BOSCO fue creado por la administración pública en 2017 para evaluar si un usuario tiene derecho al subsidio en la factura électrica.
Los directores de la organización, Eva Belmonte y David Cabo, solicitaron su código fuente para averiguar a qué se debían los errores, pero la petición fue denegada por motivos de derechos de propiedad intelectual. Civio, posteriormente apeló y actualmente está a la espera de la sentencia definitiva sobre el caso.
Casos como BOSCO son parte de una tendencia más amplia de digitalización de los servicios de bienestar. Estas herramientas se emplean para mejorar la eficiencia y reducir costes. Sin embargo, cuestiones como la falta de transparencia, la responsabilidad difusa y las barreras a la equidad ponen en duda si BOSCO respeta los derechos de sus beneficiarios.
Descargue el informe para leer más sobre BOSCO.
RisCanvi es una herramienta para evaluar el riesgo de reincidencia general y reincidencia violenta de los reclusos en Cataluña. Creado en 2010, RisCanvi (llamado así por las palabras catalanas para riesgo y cambio) ayuda a la administración penitenciaria a asignar recursos y determinar un plan de tratamiento para los reclusos.
Estas valoraciones se recomiendan como herramientas de asesoramiento, y su eficacia predictiva según algunos expertos tiene su límite. Algunos expertos argumentan que es imposible eliminar los sesgos y subrayan que, al utilizar estas herramientas, los profesionales deben estar preparados adecuadamente para identificar y contrarrestar dichos sesgos.
Dichas herramientas, en concreto las que se emplean para predecir la reincidencia delictiva, han estado en el punto de mira por las críticas recibidas en países como Estados Unidos y el Reino Unido. Entre los numerosos riesgos que plantean estos sistemas está la discriminación, ya que llevan arraigados los sesgos de la sociedad.
Abogada, Nuria Monfort, experta en derecho penal, apunta que las sociedades deben comprender la influencia política e ideológica de estas herramientas, que distan mucho de ser objetivas y científicas, y que priorizan la eficiencia sobre los derechos humanos de los presos.
Descargue el informe para saber más sobre RisCanvi .
VioGénes un sistema para estimar el riesgo de reincidencia en violencia de género.Lo utilizan las fuerzas policiales de España, lo que incluye a la Policía Nacional,la Guardia Civil y los cuerpos de policía locales, excepto los de Cataluña y el PaísVasco.
Cuando se denuncia a la policía un episodio de violencia de género (puede hacerloun familiar, un testigo o un agente del orden, no necesariamente la víctima), seinicia un proceso administrativo en el que los agentes abren una investigación yrellenan un formulario online junto con la víctima. Dicho formulario consta de 35 indicadores divididos en cinco categorías, que puede marcar la policía si se aplican al caso de la víctima. El informe resultante conlleva una clasificación del nivelde riesgo de sufrir violencia en el futuro: no apreciado, bajo, medio, alto o extremo.En función del riesgo asignado a cada caso, se elabora un plan de seguridad personalizado.
El sistema se ha diseñado para mejorar el trabajo diario de los agentes de policía y mitigar los posibles sesgos y variaciones individuales. La evaluación del riesgo se ha diseñado de forma que se pueda modificar, y la idea es que sirva de complemento a la experiencia profesional del policía.
Sin embargo, un estudio del 2014 reveló que la mayoría de los agentes (el 95 %) confiaban en el resultado automatizado (Catanzaro 2020). Dicho estudio cuestiona si los agentes de policía, como primera línea de contacto, son los expertos adecuados para valorar el riesgo de que se vuelva a ejercer violencia de género.
Descargue el informe para saber más sobre VioGén.
A principios de los 2000, la Comunidad Valenciana —la cuarta más poblada delEstado español— tenía mala reputación a causa de sus numerosos escándalos decorrupción. Para restablecer la confianza de la ciudadanía en la Administración de la comunidad, la recién creada Conselleria de Transparencia quiso establecer un sistema dealertas para detectar los casos de mala conducta y prevenir una serie de situacionesque podrían dar lugar a fraudes, corrupción o mala praxis.
Se llama SALER y es un sistema informático basado en el análisis de datos y diseñado para prever casos potenciales de corrupción en la Administración pública. Esta herramienta es la primera de este tipo que se desarrolla en España; sin embargo, no se ha implementado por completo en la Administración pública.
SALER está en una etapa inicial, en la que se le están incorporando varias bases dedatos. Uno de los principales obstáculos a los que se ha enfrentado es la lentitudde la transformación digital del sector público.
Pero las dificultades técnicas no son lo único que está frenando la implementación deSALER: también el hecho de que quienes defendieron originalmente este sistema ya no están liderando el desarrollo de la herramienta. Cada vez más, los Gobiernos ven estas herramientas, diseñadas para detectar el fraude y la corrupción a partir de datos, como una solución eficaz y eficiente para controlar el uso de fondos públicos.