Ansgar Koene y los peligros de los algoritmos de caja negra en el mercado laboral

Ansgar Koene es un investigador, ingeniero eléctrico y doctor en física y neurociencia computacional especializado en ética, estándares, política y gobernanza de la inteligencia artificial. Su trabajo se centra en el desarrollo de herramientas regulatorias para maximizar los beneficios de las tecnologías de la información y la Inteligencia Artificial y minimizar sus consecuencias negativas para las personas y la sociedad.

¿En qué consiste su trabajo?

Como líder de Regulación y Ética Global para la Inteligencia Artificial de EY Global, mi trabajo consiste en ayudar al laboratorio de IA y a EY en su conjunto a desarrollar formas de gobernanza éticas mediante inteligencia artificial, a generar liderazgo de pensamiento en el campo de la inteligencia artificial y a participar en el desarrollo de la regulación de la inteligencia artificial tanto a nivel nacional como regional (por ejemplo con la Comisión Europea y el Observatorio de Políticas de Inteligencia Artificial de la OCDE).

Además, mantengo mi trabajo a tiempo parcial en el instituto Horizon de Investigación de la Economía Digital de la Universidad de Nottingham. En este contexto fui el principal autor de un informe de asesoramiento para el Parlamento Europeo, ‘Un marco gobernativo para la responsabilidad y la transparencia algorítmicas’. Además, soy miembro del consejo de la 5Rights Foundation.

¿Coparán los algoritmos el mercado laboral y qué áreas concretamente?

Los algoritmos están afectando profundamente el mercado laboral al permitir la automatización de tareas cada vez más complejas que siguen patrones predecibles y repetitivos. La actual ola de sistemas de inteligencia artificial, que son esencialmente motores de inferencias estadísticas complejas, ha permitido la aceleración del proceso de automatización del mercado de trabajo en áreas que requieren de altos niveles de reconocimiento de patrones (y reproducción de patrones).

En el ámbito de las inspecciones, por ejemplo, la inteligencia documental, que combina el procesamiento de imágenes y de lenguaje natural, está haciendo posible la automatización de gran parte del trabajo monótono de chequear que los documentos necesarios han sido cumplimentados correctamente y transferir la información de esos documentos a las bases de datos para posterior evaluación.

En ámbito de las inspecciones, por ejemplo, la inteligencia documental, que combina el procesamiento de imágenes y de lenguaje natural, está haciendo posible la automatización de gran parte del trabajo monótono de chequear que los documentos necesarios habían sido cumplimentados correctamente y transferir la información de esos documentos a las bases de datos para posterior evaluación.

¿Son justas las decisiones algorítmicas?

La justicia es una virtud moral que tiene que ver con lo justificable de las decisiones. Si una decisión algorítmica es o no justa depende del contexto de la decisión y de cómo ha sido optimizado el sistema por sus creadores. Todo sistema algorítmico está construido y programado por personas.

Tal y como concluía el Relator Especial de la ONU sobre la Extrema Pobreza en su informe sobre el uso de sistemas algorítmicos de toma de decisiones para la adjudicación de ayuda social, el problema es que estos sistemas se han introducido y optimizado siguiendo una agenda de reducción de costes a expensas de poblaciones vulnerables. Esta agenda es una elección de los humanos.

Los algoritmos no realizan juicios morales, ejecutan las instrucciones y optimizan en relación a los objetivos definidos. Los humanos deciden en qué medida quieren priorizar falsos-positivos frente a falsos-negativos.

Los algoritmos no realizan juicios morales, ejecutan las instrucciones y optimizan en relación a los objetivos definidos. Los humanos deciden en qué medida quieren priorizar falsos-positivos frente a falsos-negativos. Si el histórico de datos refleja una correlación entre comportamiento criminal y padres divorciados, son los humanos los que deben decidir si es justo penalizar las opciones de una persona a salir en libertad condicional en base a algo que hicieron sus padres y sobre lo que seguramente no tuvo ningún control. Determinar si queremos que nuestro sistema de justicia juzgue a los individuos basándose en patrones estadísticos poblacionales de masas o si queremos un sistema basado en un análisis individual causa efecto es una decisión de nuestra sociedad.

¿Cómo podemos garantizar que los algoritmos son justos?

Desde el IEEE Standard for Algorithmic Bias Consideration describimos nuestro trabajo como el intento de minimizar las diferencias no intencionadas, injustificadas e inaceptables en las decisiones algorítmicas. Para ello, el desarrollo y el uso de un sistema algorítmico debería:

Tener una comprensión suficiente del contexto en el que se usará, incluyendo a quién afectará más el sistema. Esto conlleva la revaluación del sesgo del sistema si se dan cambios significativos en el contexto en el que se utiliza.

Comprender total y claramente las decisiones que se toman durante el diseño y la puesta en marcha y las implicaciones del criterio para el cual se optimiza un algoritmo. Un caso típico en el que la falta de diversidad en un equipo de desarrollo puede resultar en un algoritmo sesgado es no saber reconocer que una elección diseño está vinculada a costumbres culturales.

Para saber si una decisión o criterio de optimización es justo es necesario explorar la justificación para esa decisión. Asegurarse de que dicha elección está justificada para las personas a las que afectará el uso del sistema algorítmico.

Comprobar si las justificaciones para las decisiones son aceptables en el contexto en el que se usa el sistema. Esto debería incluir, siempre que sea posible, la consulta con representantes de los diversos grupos identificados como potencialmente afectados por el uso del sistema.

Un elemento importante que hemos añadido en el ECPAIS Bias certification criteria es la necesidad de monitorizar el comportamiento del sistema y la posibilidad de realizar correcciones si se observa un sesgo injustificado.

¿Cuál es el problema con los algoritmos de caja negra, y cómo afectan al mercado laboral?

Los algoritmos de caja negra representan un problema para el mercado cuando son utilizados en el campo de los recursos humanos para contratar, evaluar el rendimiento o tomar otro tipo de decisiones de este tipo. Muchos de los actuales algoritmos de caja negra que se usan en estos contextos utilizan métodos de aprendizaje automático entrenados con datos históricos para detectar patrones en curriculums o en comportamientos que, a nivel poblacional, están relacionados estadísticamente con buenos empleados.

Muchos de los actuales algoritmos de caja negra que se usan en estos contextos utilizan métodos de aprendizaje automático entrenados con datos históricos para detectar patrones en curriculums o en comportamientos que, a nivel poblacional, están relacionados estadísticamente con buenos empleados.

Consecuentemente, con los algoritmos de caja negra puede ser difícil desentrañar si esas correlaciones son causales (o infundadas) y si son justificables como base para la toma de decisiones (y no suponen discriminación en sujetos de características protegidascomo sexo, raza, etc.).

La inteligencia artificial, ¿representa una amenaza para los derechos de los trabajadores?

Haciendo nuevamente referencia al informe del Relator Especial de la ONU sobre la extrema pobreza, la inteligencia artificial pone en riesgo los derechos de los trabajadores si se utiliza como una herramienta para implementar agendas políticas con el objetivo de reducirlos. Esto incluye el uso de algoritmos de caja negra como una forma de oscurecer el razonamiento tras las decisiones e impedir la capacidad de cuestionar el sistema algorítmico.

¿Cómo podemos proteger los derechos fundamentales de los trabajadores a la vez que respetamos la libertad para innovar con los métodos algorítmicos?

Para proteger los derechos fundamentales de los trabajadores frente a los sistemas algorítmicos tenemos que establecer que esos derechos han de ser parte de la justificación, de los resultados y de los efectos de las decisiones independientemente de la herramienta que se utilice para tomarlas.

Para proteger los derechos fundamentales de los trabajadores frente a los sistemas algorítmicos tenemos que establecer que esos derechos han de ser parte de la justificación, de los resultados y de los efectos de las decisiones independientemente de la herramienta que se utilice para tomarlas.

La innovación de nuevos métodos algorítmicos puede mejorar la eficiencia del proceso, por ejemplo de la pre-selección de curriculums, pero la responsabilidad de las decisiones no cambia de manos, ni tampoco cuáles deberían de ser las obligaciones en relación a los derechos fundamentales de los trabajadores.

¿Hace falta intervención de las administraciones para garantizar la transparencia y la rendición de cuentas de los algoritmos, así como la responsabilidad de los desarrolladores, o puede regularse la industria por sí sola?

El estado tiene un papel importante en demostrar que los derechos y las leyes existentes siguen siendo válidos independientemente del uso de los sistemas de algoritmos. Un elemento clave será la preparación de las agencias regulatorias que tienen asignada la tarea de aplicar la legislación vigente. El estado sigue siendo importante para garantizar la transparencia y la responsabilidad de las decisiones, con o sin el uso de algoritmos.

Si este requisito se mantiene, la industria desarrollará los estándares y las prácticas de excelencia necesarias para garantizar la transparencia de los algoritmos y su uso conforme los requisitos necesarios en la toma de decisiones.

En algunos campos o aplicaciones del uso de algoritmos la responsabilidad podría repartirse entre desarrolladores y operadores. En esos casos serán necesaria explicaciones regulatorias adicionales.

¿Pueden protegerse los trabajadores activamente de las decisiones tomadas por algoritmos?

Un paso importante para que los trabajadores puedan protegerse de las decisiones tomadas por algoritmos es exigir que se garantice su derecho a saber cómo se toman y justifican esas decisiones, a a cuestionarlas. La rendición de cuentas recae en quien usa los algoritmos. Las decisiones tomadas por estos no son perfectas y merecen ser cuestionadas.