Lorena Jaume Palasí

Lorena Jaume-Palasí es directora ejecutiva de la Ethical Tech Society. Fue cofundadora y directora ejecutiva de la organización AlgorithmWatch, con sede en Berlín, que analiza la ética de la automatización y la digitalización en el uso de algoritmos socialmente relevantes. Especializada en filosofía del derecho, es miembro del grupo de asesores de inteligencia artificial y big data para el Gobierno. Además, dirige la secretaría del Foro para la Gobernanza de Internet (IGF, por sus siglas en inglés) en Alemania y forma parte de los 100 de COTEC. En resumen, es una de las personas que velan por que las máquinas y los algoritmos contribuyan al bienestar común haciendo un uso justo de sus capacidades.

¿Puede explicar un poco en qué consiste la Ethical Tech Society? ¿Cuáles son sus objetivos/desafíos?

La Ethical Tech Society es una organización sin ánimo de lucro. Su objetivo principal es comprender la dimensión social de la tecnología. Llevamos a cabo estudios para generar más conocimiento sobre cuáles son las consecuencias y beneficios sociales reales que se producen como resultado del uso de la tecnología. También tratamos de crear teoría. Es una organización sin ánimo de lucro que se basa en hechos y teorías. Actualmente estamos trabajando en Berlín con un grupo muy diverso de científicos, artistas, sociólogos y figuras del sector público y privado, elaborando utopías mediante la creación de tecnologías de IA específicas y pronto lanzaremos nuestra primera campaña. Somos críticos con el uso específico de la tecnología que no sea beneficioso para la humanidad y estamos creando sistemas de evaluación para comprender dónde se encuentran las brechas éticas en la tecnología. La comunidad ha creado sistemas para probar las brechas de seguridad e integridad en el software muy competentes, pero saber dónde están las brechas éticas es algo que aún está en desarrollo y esta es una de las cosas en las que nos estamos enfocando, en comprender la tecnología desde fuera.

¿Se está haciendo lo suficiente en términos de estudiar la ética de los algoritmos, particularmente en países menos experimentados en gobernanza de Internet?

Una de las cosas que más me llama la atención es que no exista una interacción real entre los profesionales en ética. Me refiero a que la ética es una disciplina. Al igual que la ley, no se trata solo de identificar principios, sino también de cómo aplicar esos principios. Que la ética sea algo que se desarrolla mediante el diálogo en la sociedad no quiere decir que no deba aplicarse de la misma manera en la que se aplica la ley. Hay muchas personas que tienen sentido y sensibilidad éticos, pero que no cuentan con la formación tecnológica adecuada, por lo que las conversaciones que estamos teniendo actualmente se caracterizan por tener una comprensión muy rudimentaria de la ética, las personas realmente no saben en qué consiste el mecanismo de la ética.

Espero que podamos contar con más especialistas en ética en los debates para poder dar comienzo a una forma más productiva y sistemática de comprensión e intentar crear una postura con respecto al uso de la tecnología.

Actualmente existen muchos malentendidos, la gente piensa que la ética se puede programar como un código. También hay quien piensa que la ética se trata simplemente de identificar principios, pero no saben qué es una herramienta ética. Por ejemplo, la transparencia puede ser tanto una herramienta como un objetivo en sí mismo.

Por un lado, está la gente que piensa que la ética se puede codificar, lo cual no es así porque la ética requiere un proceso y una forma de pensar que las máquinas no pueden reproducir. Por otro lado, está lo que esperan los científicos sociales cuando interactúan con máquinas y software que, al no ser creyentes, esperan algo más de la tecnología porque les parece como magia.

Se espera demasiado de las máquinas, pero no son más que computación y predicción de probabilidades. Más allá de las probabilidades no podemos esperar certezas, ni pensamiento lógico ni contextualización, causalidad, etc., todas las cosas necesarias para comprender una situación. ¿Qué sabe una persona? ¿Qué sé yo? ¿Cómo puedo entrar en la mente de otra persona? ¿Cómo puedo guiarle, enseñarle, mentirle? Todas estas cosas forman parte del complejo mundo de la inteligencia que las máquinas no pueden reproducir, pero muchas personas esperan que la IA sea capaz de actuar de esta manera. Solo se fijan en los resultados. Lo que nosotros estamos intentando es alumbrarles y abrirles nuestras puertas mostrando qué hay detrás de los mecanismos.
Tenemos muchos técnicos con sentido ético, pero en realidad no saben qué significa realmente la ética.

La ética es como la ley. Necesitamos personas que hayan sido formadas y educadas para plasmar el sentido ético en un sistema que pueda verse como una especie de código ético.

Ahora mismo hay muchos científicos que se refieren a ciertas cosas de una forma que un especialista de ética nunca llamaría principio ético. Podríamos llamarlas transparencia, capacidad de explicación, derechos humanos, etc., son meras reproducciones de cosas que ya están recogidas en la ley. Reproduciendo sin más en el ámbito ético lo que ya está recogido en la ley y tiene una funcionalidad distinta a la ética, estamos causando mucha confusión. Creo que vamos a tardar en lograr un conocimiento más amplio.

¿Quién crea los algoritmos?

No me gusta hablar de algoritmos. Estamos hablando sobre sistemas de automatización, sobre automatizar un proceso concreto. Automatizar significa sustituir por tecnología lo que antes se hacía manualmente. Todo sistema de automatización comienza con un responsable que decide si se automatiza algún paso específico del proceso. Se comienza dando forma al tipo de tecnología que se va a utilizar. De modo que, si decides que quieres automatizar las llamadas entrantes que proceden de clientes insatisfechos en tu sistema, en lugar de automatizar cómo gestionar las quejas que podrían ser automatizadas parcialmente, tu decisión influirá en el tipo de software que vas a necesitar. Estará basada en audio, biometría o categorización de datos.

La gente tiende a asumir que el algoritmo es el software, pero el software es simplemente un algoritmo traducido a una fórmula.

El algoritmo es una fórmula matemática muy pequeña, de apenas unas líneas. Podría desarrollarse o formularse en una receta, un movimiento de un juego de cartas, un movimiento de ajedrez o un software. El algoritmo compone el esqueleto del sistema. Es tan indeterminado que se podría usar el mismo algoritmo para la gestión de películas y para la investigación del cáncer de mama, solo depende de su formación y de los datos. Al principio no tienen datos específicos, de modo que deben comenzar a formarse con datos para crear un contexto específico. Después habrá que usar algoritmos de formación, y más tarde se implementan en la vida real, para lo cual hay que contar con personas del sector que interpreten el resultado. Luego están los llamados «ciclos de retroalimentación», porque cuando implementamos IA siempre hablamos de un proceso de autoaprendizaje. Se revisan los resultados y los ajustes de las entradas para mejorar y optimizar su eficiencia. El ciclo de retroalimentación es parte del sistema, pero se trata de una programación diferente basada en la reflexión sobre lo que entra y lo que sale. Hay muchas personas involucradas en esta formación. Cuando se trata de formular se hace, en cierto modo, de arriba hacia abajo. La fórmula decide qué parte del proceso se va a automatizar, aunque depende mucho de los datos.

Todos los que generan datos para un sistema tienen la oportunidad de dar forma a ese sistema.

Por ejemplo, en los chatbots o pequeños robots que hablan, cuando las personas comienzan a interactuar con ellos y a hablarles, los robots aprenden el idioma utilizado por esas personas. De manera que alguien puede hacer que un chatbot acabe siendo racista o sexista. Eso es algo que los programadores no pueden predecir. No es más que un simple ejemplo de cómo las personas pueden «remodelar» este tipo de tecnologías. Existen muchas tecnologías en las cuales no puedes saber qué va a pasar.

¿Cómo podemos exigir responsabilidades a los diseñadores de algoritmos? ¿Existe alguna administración pública que controle lo que hacen o deciden?

Ha habido personas que han investigado el impacto social de la automatización, pero nadie les ha prestado demasiada atención. Hemos asistido a algunos progresos dentro del sector sanitario. Las personas están comenzando a interesarse por cosas como reflexionar sobre el impacto social, entender quién está detrás del sistema, por qué estamos excluyendo a personas del sistema y creando determinados prejuicios, la presencia de datos asimétricos en los bancos de datos que ejecutan los algoritmos, etc.

Uno de los problemas a los que nos enfrentamos es que las personas tratan de averiguar dónde tienen lugar los problemas y el problema es que nunca se puede identificar el lugar concreto. Es un proceso muy complejo con muchos pasos.

A veces el problema no está en el algoritmo o los datos, sino en la conceptualización. El simple hecho de querer automatizar una parte concreta del proceso de una manera determinada ya puede suponer un concepto equivocado, por lo que todo lo que salga de ahí será irrelevante y erróneo. Podría ser una cuestión de datos. Parte de la automatización de recursos humanos se crea con datos asiáticos porque carecemos de datos europeos y el software se ejecuta en Europa, y ya sabemos que estos conjuntos de datos muestran una realidad social diferente porque la ética de trabajo y la dinámica social en Asia son totalmente distintas a las de Europa. Depende de muchas cuestiones. Por ejemplo, cuando se trata de servicios para los seres humanos pensamos que el pasado es una buena aproximación para el futuro, sin embargo, no hacemos lo mismo cuando se trata de crear modelos para el cambio climático, porque en este caso el pasado no es una buena aproximación para el futuro.

Pensamos, por ejemplo, que en el mundo del comercio a las personas les gustan cosas similares. Pensamos esto especialmente en lo que respecta a los servicios de atención al cliente y el comercio electrónico, pero no en la agricultura o el cambio climático, donde la interacción humana es menor. Esto es interesante porque muestra la complejidad de nuestras suposiciones. Esto es algo que, como ingenieros, nadie nos enseña a controlar, y es algo que implica que el sistema debería contar con muchas personas que no fuesen científicos de datos o ingenieros, sino antropólogos o sociólogos que pudieran plantear otras cuestiones o aspectos que también son importantes.

La responsabilidad es uno de los grandes debates. Ya se están utilizando mecanismos con este tipo de sistemas, podemos registrar todos los cambios que se vayan haciendo, y la persona y el momento en que se realizan, con más precisión que nunca. Pero ahora mismo estamos trabajando a un nivel muy individualista, por lo que estos algoritmos podrían dañar la privacidad o los derechos humanos de algunas personas.

Sin embargo, no es así como funciona esta tecnología. Estamos tratando de comprender el bosque analizando cada uno de sus árboles. Si quieres comprender el bosque tienes que mirarlo como un ecosistema, analizando cada uno de sus árboles no conseguirás comprender la dinámica del bosque.

El problema de los algoritmos es que la mayoría de las personas no saben lo que son. ¿Cómo podemos hacer que sean más transparentes? ¿Podrían ser más abiertos para los ciudadanos?

Lo que ocurre con la transparencia es que achaca la responsabilidad al que está siendo transparente. Al menos en nuestra cultura jurídica. Véase el ejemplo de la comida. Si tuviéramos que responsabilizarnos de la calidad de los alimentos cada vez que fuéramos a un supermercado, tendríamos que llevar una mochila llena de productos químicos y pruebas para analizar todos los alimentos que quisiéramos comprar. Evidentemente, sería exigir demasiado a un consumidor, y lo mismo se aplica a este tipo de tecnología. Donde necesitamos transparencia es en la gestión del sistema, en los mecanismos de retroalimentación, para que podamos decir qué está bien y qué no, si me están colocando en el cajón incorrecto, o si necesito algo más. ¿Quién supervisa? ¿A quién me puedo dirigir si algo no está bien? Muchos de los sistemas que tenemos son realmente malos en el diseño de la retroalimentación.

En lugar de transparencia, deberíamos hablar sobre qué información necesitan los ciudadanos para poder interactuar con la tecnología de una forma digna. No es cuestión de comprender cómo funcionan los datos o los algoritmos.

Al igual que ocurre cuando compramos algún producto y no funciona o no me gusta, es necesario que exista un sistema que me permita poner una queja como consumidor.

Las personas son más conscientes de los riesgos de la IA. ¿Cuál será su efecto a largo plazo?

Las personas son más conscientes de lo que creen. Observe cómo los jóvenes juegan con los algoritmos detrás de sus líneas de tiempo en las redes sociales. Las personas están creando sus propias intuiciones sobre cómo navegar en un mundo automatizado. También puede verlo en los trabajadores de Uber o de Deliveroo. En Filadelfia todos los conductores de Uber se desconectan de la aplicación a una hora concreta al mismo tiempo para que el algoritmo piense que no hay nadie en los alrededores del aeropuerto para poder aumentar los precios. Las personas intentan engañar o manipular algoritmos, aunque no puedan darle la definición de algoritmo. Ni siquiera vemos la cámara de nuestro móvil o los semáforos como dispositivos automatizados. Cuando las personas comienzan a interactuar con eso, quizá no reflexionan sobre la automatización, pero crean su propio mundo a su alrededor y desarrollan sus propias estrategias.

Con la automatización aparece el riesgo de la manipulación. ¿Cómo se mitigan estos riesgos?

Los mecanismos diseñados para influir en la decisión de las personas son mucho más complicados que la simple informatización y esto es algo que aún nos cuesta comprender. Nuestros miedos y proyecciones también forman parte de todo este debate de Cambridge Analytica. Cambridge Analytica es un claro ejemplo de cómo funciona la sociedad. La percepción del miedo en realidad es mucho más compleja que la simple interacción con la pantalla de un móvil. Depende de las opiniones de nuestra familia, de lo que hemos oído en el lugar de trabajo, andando por la calle, interactuando con personas que no conocemos, de las conversaciones que oímos por casualidad. Todo esto nos ayuda a decidir cómo mirar el mundo y si lo que pensamos está bien o mal, si lo que creemos es o no plausible.

Pensar que con solo usar las redes sociales se puede manipular a toda una sociedad es una idea bastante simplista. Pensemos en cómo se creó la propaganda en el siglo pasado, se trataba de un proceso muy complejo para infiltrar un mensaje concreto en toda la sociedad.

Las grandes empresas tecnológicas deciden lo que vemos. Las burbujas de filtro de contenido personalizado pueden generar unidad de pensamiento, polarización, etc. ¿Cómo podría evolucionar esto?

En primer lugar, la teoría de las burbujas de filtro no es científica. Naturalmente, las personas buscan reafirmarse, aprobación, personas con opiniones similares. Eso es una reacción normal. Cuando los historiadores y los sociólogos analizan la propaganda dejan a un lado el hecho de que la gente buscaba aprobación, porque eso es normal. Un nazi nunca leería un periódico izquierdista o comunista.

Lo importante cuando los académicos intentan entender cómo funciona la propaganda es comprender en qué medida podemos percibir las distintas opiniones, escuchar opiniones contrarias y analizar puntos de vista. Esto es lo que marca la diferencia, por ejemplo, entre España y China. Puedes oír opiniones muy distintas dentro de España, pero no ocurre lo mismo en China. Eso es lo que marca la diferencia cuando se trata de propaganda y en cómo cala en la sociedad. Lo que se ve en la sociedad en lugar de las burbujas de filtro es la polarización. Estamos viendo muchas más opiniones que nunca. Los partidos de ultraderecha están consumiendo incluso más medios que aquellos cuya ideología se sitúa más al centro. Las conversaciones de política se han transformado en debates de identidad. Cuando hablamos de política, no siempre lo hacemos sobre un programa político concreto, sino que es una cuestión de identidad. Creo que ese es uno de los puntos principales que no se han tenido demasiado en cuenta.

Todo el diseño de las redes sociales está programado para dar la impresión de que todo es muy personal. Siempre navegamos dentro de una identidad, de una misma cuenta, en lugar de tener una identidad profesional, otra pública, otra privada, etc. Cuando comentamos o reaccionamos ante algún contenido, siempre lo hacemos de una manera muy personal y este tipo de conversaciones radicales, o debates personales, se basan más en la agresividad que en reunirse e intercambiar argumentos. Se trata de una situación epidémica porque, por un lado, no consideramos que las empresas de las redes sociales sean actores éticos, pero por el otro, les exigimos que tomen decisiones éticas, que eliminen el contenido del discurso de odio o que tomen medidas sobre el derecho al olvido. Estas decisiones son éticas.

Con las redes sociales, la identificación, el registro y el reconocimiento de voz, se van perfilando los datos de las personas desde una edad temprana. Google ha recibido miles de solicitudes de «derecho al olvido», lo cual supone una amenaza para el libre flujo de información. ¿Cómo podemos encontrar un equilibrio entre la privacidad de los datos y la naturaleza abierta de Internet?

Es necesario que comprendamos que en ese sentido existe un conflicto fundamental. No existe un único principio tecnológico que pueda aplicarse a todos los contextos éticos.

Tener menos datos es bueno para la privacidad, pero no para los problemas de discriminación. Cuantos menos datos tienes, más propenso eres a ser discriminado.

Ese es el primer conflicto. Por tanto, ¿qué queremos hacer? ¿Queremos crear un sistema privado que sea utilizado por personas privadas para servicios privados o queremos crear un sistema público para un servicio público? Nuestra comprensión de los servicios públicos se está deteriorando, porque no los proporciona solo el estado, sino que individuos privados también tienen funciones y dimensión públicas. Muchas de las conversaciones que tienen lugar en privado constituyen la opinión pública.

La opinión pública se crea mediante el intercambio de creencias, ideas morales y esperanzas políticas, por eso no se puede concebir como algo privado. Se está perdiendo parte de su esencia.

La opinión pública es muy importante para evaluar, cuestionar y protestar contra el poder público, y parece que la privatizamos solo porque la gente piensa que las personas privadas no deberían tener una opinión pública. Por eso tenemos menos datos. Dejamos de centrarnos en aquello sobre lo que queremos protestar al enfocarnos tanto en la privacidad de los datos en lugar de en los valores humanos. Hay datos legítimos, no ocurre nada malo con esos datos, pero debido al miedo a la discriminación basada en esos datos, las personas piensan que no deberían hacerse públicos. El resultado es incorrecto desde el punto de vista ético porque no intentamos abordar el motivo de la discriminación, sino que suprimimos la información para evitar que las personas se comporten mal en lugar de ir al núcleo de los mecanismos que hacen que las personas se comporten así. El hecho de asumir que la ignorancia evitará que las personas hagan algo mal, es del todo falso.

Crear un velo de ignorancia u ocultar información no es una forma de abordar los problemas o los errores que las personas puedan cometer con respecto a los demás. Para una sociedad digital democrática, no es un procedimiento correcto ni en sentido ético ni digital. La forma en que controlamos la información para evitar ciertas cosas es una manera muy retorcida de actuar frente al posible riesgo.