interview  | 

La convivencia de la inteligencia artificial y humana. Entrevista con Joanna Bryson

"La IA no es algo que pueda reemplazar a los humanos, la inteligencia artificial es una extensión de nosotros mismos".

SHARE

Reading Time: 15 minutes

Joanna Bryson es profesora asociada en el Departamento de Informática de la Universidad de Bath, donde trabaja en Inteligencia Artificial, ética y cognición colaborativa. Ella es una experta académica global en Inteligencia Artificial y humana, participó significativamente en la Política Tecnológica Global, miembro del Consejo Científico del Grupo de Trabajo sobre Inteligencia Artificial y Ciberseguridad en el CEPS (Centro de Estudios de Política Europea) y miembro del consejo de Ética en Mindfire Global.

¿Qué es la inteligencia artificial para tí en función de su trabajo y experiencia?

Suelo usar una definición de inteligencia que realmente aprendí como estudiante de psicología, que hace poco supe que es de hace más de un siglo: la inteligencia es «poder hacer lo correcto en el momento correcto». Otra forma de pensar en eso es como una forma de cálculo. Estás traduciendo el contexto actual en una acción apropiada, ¿verdad? Entonces es una transformación de la información. Si podemos estar de acuerdo en que eso es la inteligencia, entonces la única diferencia con la inteligencia artificial es que es un subconjunto de todas las cosas inteligentes que un humano ha creado intencionalmente. Entonces es un artefacto. Y creo que esa es una de las cosas que la gente olvida. Leen leen sobre Inteligencia Artificial y piensan que es una especie de espacio que descubrimos. Pero en realidad es algo que hemos construido.

¿Cómo llegaste a este campo de estudio y por qué?

La primera vez que trabajé en IA fue en 1986, pero no fue de manera continua. Estaba interesado en el tema, pero mi licenciatura era en realidad en ciencias del comportamiento. Me interesaba para qué era la inteligencia y cómo la usan las diferentes especies, pero también era una muy buen programadora. Pensé que podría ingresar a la mejor universidad si combinaba lo que era bueno con lo que me interesaba, así que entré en inteligencia artificial. En realidad, estaba interesada en todo y pensé que era algo tan bueno como lo otro, pero casi todo lo demás salió de ese primer máster.

Desde que empezaste, ¿cómo se ha desarrollado la IA? ¿Cuál ha sido la evolución?

Lo principal ha sido el aumento masivo en la computación y, por supuesto, los dispositivos se han vuelto más baratos y se han extendido más ampliamente. Ahora tenemos muchos más datos. Tenemos la combinación de computación más rápida y más datos. También tenemos algoritmos de aprendizaje automático ligeramente mejores. Por supuesto, tenemos cosas que replican más de cerca lo que vemos en la naturaleza y creo que es por eso que la gente piensa que hay mucha más inteligencia artificial que antes, pero en realidad tan pronto como tuvimos la búsqueda de Google y el corrector ortográfico, tuvimos IA. La IA ha estado cambiando las cosas durante décadas.

Ahora tenemos muchos más datos. Tenemos la combinación de computación más rápida y más datos.

Gran parte de la narrativa ha cambiado. Parte de esto es que las compañías digitales acaban de aparecer y, por supuesto, hay muchas compañías digitales, pero algunas de ellas han logrado capturar un monopolio natural y han crecido en posiciones increíblemente fuertes. Entonces, creo que fue solo en los últimos 10 años que las compañías digitales superaron a las compañías petroquímicas como las compañías más grandes del mundo. Y eso ha sido cierto en ambos lados del gran firewall de China, tanto en China como en Occidente. Al mismo tiempo, los gigantes petroquímicos y de fabricación tradicionales todavía están allí, no es como si se hubieran ido, pero esta industria tecnológica de repente tiene mucho dinero, lo que no quiere decir necesariamente que son tan buenos, sino que también puede que aún no hayamos descubierto adecuadamente cómo gravarlos. Creo que eso es parte del problema.

¿Cuáles serán los desafíos para los próximos 5 a 10 años?

En 5 a 10 años, creo que vamos a tratar de enfrentar los mismos desafíos que tenemos hoy. Probablemente surgirán otros desafíos durante ese período también. De lo que todo el mundo habla en este momento, por ejemplo, es del asalto a la democracia. ¿Cómo coordinamos el comportamiento cuando es tan fácil tener impacto, comprado por dinero, a través de las fronteras nacionales? Nuestra comprensión de nosotros mismos está cambiando porque podemos saber mucho sobre nosotros mismos y nuestro comportamiento puede predecirse. Ayudar a los humanos a comprender cómo nos comportamos y entender hasta qué punto somos producto de nuestra cultura y nuestro contexto para que podamos entender y descubrir mejor cómo gobernarnos y regularnos es parte del problema.

Todos hemos visto que ha habido un rechazo de esta crisis tecnológica al igual que ha habido un gran rechazo de la ciencia climática por parte de personas que no quieren pensar que es un problema. Creo que habrá una reacción violenta contra la psicología, por ejemplo. Sí, ha habido algunos problemas de alto perfil en psicología, pero esta reacción violenta supera con creces. Habrá un asalto a la ciencia y creo que habrá varios asaltos al conocimiento. Y lo peor de eso es que algunos de los asaltadores de renombre que están tratando de ejecutar una agenda en el discurso público se están posicionando para aprovechar el conocimiento de que fingen no creer. Así que creo que nosotros veremos un problema de desinformación, comunicación y coordinación en términos de lo que hace un gobierno nacional.

Cuando todo está cambiando y el poder está cambiando, ¿cómo pueden cooperar dos naciones entre sí y cuáles son los derechos de las personas?

Debo decir que una de las cosas más asombrosas para mí es que todos estuvimos preocupados durante los últimos dos o tres años por el hecho de que más de un millón de trabajadores habían sido puestos en campos de concentración y que había un componente tecnológico en eso. Pero ahora, en los últimos meses, a 7 millones de personas en la India, en todo el estado de Kashmere, se les ha dicho que, en primer lugar, ya no son ciudadanos, no son un estado real y, en segundo lugar, perdieron todas las comunicaciones. No tienen teléfonos, no tienen internet. Una nación de derecho, la democracia más grande del mundo, fue capaz de hacerle eso a uno de sus estados. Espero que Europa sea más robusta que eso, pero es una gran preocupación. Es interesante que podamos ver todas estas cosas, pero de alguna manera todavía no podemos detenerlas. No está claro si eso se debe a que el poder ha cambiado o porque simplemente somos más conscientes de los problemas que tuvimos antes.

El gran Stephen Hawking dijo una vez que el surgimiento de una poderosa IA será lo mejor o lo peor que le haya pasado a la humanidad, ¿qué opinas al respecto?

Bueno, creo que la inteligencia artificial es una extensión de nosotros mismos como prótesis. Es parte de la humanidad y vive con nosotros hace mucho tiempo. Entonces, es difícil de decir. Ciertamente, ha sido increíble el hecho de que nos hayamos mudado, algo así como 4 mil millones de personas, eso es más de la mitad del mundo, fuera de la pobreza extrema en los últimos 20 años. Sería genial llegar a los últimos mil millones de personas que todavía están allí, pero ha sido increíble para las personas que vivían con $1 por día en la pobreza extrema, en parte debido a la democratización que nos brindan los medios digitales. El poder de tener un teléfono inteligente significa que sabes lo que vale tu trabajo. Y eso ha sido realmente importante. No solo en China, no solo en India, sino en todo el mundo. Así que creo que probablemente sean las dos cosas. Pero eso es normal. Es parte de nosotros.

Entonces, ¿de qué manera la IA es más poderosa que la inteligencia humana? ¿Qué pueden hacer las personas que los robots no pueden hacer?

Supongo que lo principal de la revolución digital es que puedes hacer lo mismo una y otra vez. Puedes copiar. Así podemos obtener rápidamente copias de cualquier noticia que se publique o lo que sea. Eso se llama escalamiento. Puede combinar cálculos adicionales de otros cuerpos. Los humanos no escalan de esa manera. Tomemos, por ejemplo, los motores de búsqueda, lo que pueden hacer, es sorprendente que podamos en muy poco tiempo, obtener una página web que esté almacenada en cualquier parte del planeta y buscarla con unas cuantas palabras. Eso es increíble, ¿verdad? Eso requiere una enorme cantidad de cómputo coordinado. Los humanos no pueden fusionar sus cerebros juntos.

Pero como individuos, simplemente no podemos saber todo lo que los demás saben. Y sería un poco aterrador si lo hiciéramos. Perderíamos mucha de nuestra individualidad. Espero que esto no sea demasiado deprimente, pero creo que es realmente maravilloso. Creo que es lo principal que nos hace humanos. No vamos a construir nada como un animal a partir de silicio, algo que ha sido diseñado y del que podemos ser responsables. Entonces, el hecho de que somos animales y tenemos nuestras relaciones, nuestra estética y nuestros valores, se basa en los problemas como seres individuales, ¿verdad? Nunca vamos a tener una máquina que sea realmente una parte de nuestra sociedad, que reemplace a uno de nosotros en la forma en que interactuamos entre nosotros, nos amamos, nos reproducimos.

No vamos a hacer eso con una máquina. Así que creo que siempre es mejor ver la inteligencia artificial como una prótesis. Es decir, una extensión del humano, más no algo que pueda reemplazar a los humanos. Dicho esto, por supuesto, con una palanca puede hacer que una persona haga el trabajo que dos personas hicieron antes, pero no es que haya una fuerza motivadora en el robot. Los problemas fundamentales sobre cómo nos tratamos entre nosotros, si nos tratamos con respeto, si decidimos borrar a grupos enteros de personas de la faz del planeta, estos son los problemas que siempre hemos tenido, y No cambies tanto con la tecnología.

Así que creo que siempre es mejor ver la inteligencia artificial como una prótesis. Es decir, una extensión del humano, más no algo que pueda reemplazar a los humanos.

El título de tu artículo, los robots deberían ser esclavos, fue controvertido. ¿Qué quieres decir con el término 'esclavos'?

Eso fue escrito para un libro llamado ‘compañeros artificiales’. Me parece realmente problemático que la gente pensara en la IA o los robots como personas. Así que dije, y este es solo un argumento que ya te he dado, pero la idea básica es, mira, ¿cómo puedes pensar que va a ser una persona cuando es algo que vamos a hacer? Porque todos hemos acordado que no debes comprar y vender personas. Sí, compramos y vendemos cosas. No compramos ni vendemos personas. Entonces, por supuesto, no todos hemos estado de acuerdo en que desafortunadamente todavía hay una trata de personas en el mundo actual. El error que cometí con ese título fue la creencia de que todos eran sensibles a la verdad de que no se puede ser dueño de las personas.

La palabra esclavo aquí se trata de otra cosa. Tienes dispositivos que lavan los platos por ti. Lo llamas lavavajillas, pero no los consideras humanos. Es un sirviente tuyo. Pero, por supuesto, todavía podría verse como desconsiderado para todas las personas que todavía tienen una parte fuerte de su identidad con el hecho de que sus antepasados ​​habían sido esclavizados. Así que, en cierto modo, era un mal título, pero era la primera vez que la gente escuchaba, por lo que atrajo la atención de la gente, que algo que hace a menudo el MIT. Fue la tercera cosa que intenté después de escribir los documentos dos veces.

amos a cambiar el enfoque a la gobernanza. Entonces, ¿cómo puede el gobierno evitar retrasar el crecimiento de las tecnologías emergentes?

Bueno, esa es una pregunta realmente interesante porque hay un par de suposiciones sobre esto. ¿Qué significa incluso el truco y qué significa incluso la regulación excesiva? Por un lado, queremos que lleguen al mercado tantas innovaciones como sea posible para poder aprovecharlas. Por otro lado, si algo sale demasiado rápido y luego se estrella y quema o destruye otras cosas, entonces esa no es una gran victoria. Entonces, a veces, ser un poco más lento para producir algo y luego comenzar con un ecosistema estable podría ser una mejor solución.

Entonces, una buena regulación se trata de apoyar el crecimiento sostenible de las corporaciones y darles formas de innovar y probar cosas y aún así poder avanzar. Creo que una de las grandes cosas en las que tenemos que pensar, como mencioné antes, es en realidad la redistribución de la riqueza porque una gran cantidad de comercio digital no cuesta tanto hacer una vez que lo has descubierto, pero no se ha redistribuido muy bien. Debes asegurarte de que realmente estás pagando a las personas lo que vale su tiempo y que no tienes este tipo de ‘personas invisibles’ escondidas detrás trabajando. Hay personas muy específicas que brindan servicios que no son vistos como parte del ecosistema a pesar de que lo son. Las personas que ahora tienen mucha visibilidad son aquellas que tienen que censurar los videos. Debe verificarlo porque algunas personas marcarán videos solo porque están molestos con sus amigos, mientras que algunos de ellos han visto algo que nadie quiere ver. De nuevo, esto es, somos, somos más inteligentes ahora. Todos estamos interconectados. Hay tantas cosas diferentes que debemos cuidar entre nosotros. Asegurarse de que las cosas se distribuyan bien es parte de lo que se trata el gobierno.

Una buena regulación trata de apoyar el crecimiento sostenible de las corporaciones y darles formas de innovar y probar cosas y aún así poder avanzar.

Otra cosa realmente importante es asegurarse de que no haya grandes cantidades de corrupción, discriminación o la famosa reincidencia. Esta predicción de si alguien volverá a la cárcel y existe este famoso programa que tenía más probabilidades de predecir que los afroamericanos volverían a la cárcel y menos probabilidades de predecir que los europeos estadounidenses volverían a la cárcel, menos de lo que realmente lo harían. Entonces falló para ambos. Y nadie sabía que el aprendizaje automático podía hacer tan mal en el trabajo, solo intercambiando los datos, por lo que no parece que fuera un uso legítimo de la IA. Parece que alguien lo hizo deliberadamente y luego usó el hecho de que era una máquina y que era «mágico» para ocultar lo malo que habían hecho. Entonces, lo que realmente queremos de nuestros gobiernos es hacernos cumplir, como lo harían con cualquier otra organización, darnos cuenta de que no es mágico, no preocuparnos demasiado por el retraso del crecimiento y ser el agua salada que descarga y mantiene sistema limpio.

Cuando hablo con las empresas, digo: «mira, no quieres tener una carrera hasta el fondo, pero también sabes que a veces alguien en tu ecosistema está engañando.» Por lo tanto, te conviene que el gobierno esté allí y pueda saber qué están haciendo mal. Y para hacerlo, debe pagar este costo y ese costo está debidamente documentado en su código. Para que pueda demostrar que estaba haciendo lo correcto, que escribió los códigos por la razón correcta, que lo probó de manera inapropiada, que lo aseguró, usó ciberseguridad o se aseguró de que nadie más lo haya pirateado. Eso es lo mejor del software en realidad al hacer lo correcto, naturalmente lo documentas. Si tienes cuidado, es normal documentar lo que has hecho. Todo lo que necesitamos es que el gobierno pueda contratar a suficientes personas que sepan leer ese tipo de registros, que sepan algo sobre ciencias de la computación, y que se anime a las empresas a hacer eso y comprender que eso no significa que tenga que ir a código abierto. Todavía podría tener su IP, pero solo confía en que el gobierno revisará su código porque luego pueden verificar el código de todos los demás y nadie puede hacer trampa. Y eso lo hace más fácil para todos. En realidad es una victoria, gana. En realidad, podría moverse más rápido con una regulación más informada.

¿Cómo puede el sector público garantizar que las personas obtengan las herramientas, estructuras y habilidades adecuadas que necesitan en la era digital?

Obviamente creo que el gobierno debería dar enormes cantidades de dinero a las universidades (Broma). Soy una académica. Seguimos tratando de encontrar las mejores formas de avanzar y eso seguirá cambiando a medida que las personas sigan innovando nuevas formas de hacerlo, pero seguimos reconociendo que es un problema y tratando de asegurarnos de que los niños conozcan los trabajos disponibles. Una vez más, se trata de transparencia, no de ocultar cosas, no de fingir que son mágicas, sino de mostrar a las personas cómo funcionan las cosas. Y creo que es algo realmente importante.

No hay una bala mágica, pero creo que lo más importante es no creer demasiado en el alboroto mediático.

Uno de los problemas es el antropomorfismo y la venta de robots lindos en lugar de dejar en claro cómo funcionan realmente, que hay alguien detrás de eso y esos son trabajos que podrías tener, que tal vez quieras tener. Ha habido un gran impulso hacia la antropomorfización porque haces estas cosas lindas que la gente quiere comprar, gastar dinero y cuidarlas. Y no hacen muchas preguntas al respecto porque piensan que saben, piensan que es una persona, pero no es una persona. ¿Necesitamos parar? Entonces, los niños incluso están motivados para ir y probar estas cosas, pero es un proceso continuo. No hay una bala mágica, pero creo que lo más importante es no creer demasiado en el alboroto mediático. Reconociendo que hay una forma en que esto funciona y exponiendo cómo funciona a las personas, y teniendo una mente abierta al respecto.

Entonces, ¿conoces un buen ejemplo de un gobierno que mira hacia el futuro en términos de innovación y regulación, dónde están haciendo un buen trabajo?

No sé si es un mal ejemplo de algo bueno, pero los británicos están teniendo todo tipo de problemas. Han decidido que para recuperarse de las locuras que están haciendo, van a aprovechar la inteligencia artificial. Lideran la inteligencia artificial. De hecho, tienen los organismos reguladores ya establecidos. Lo han hecho para que se suponga que todos deben aprender a programar en la escuela, para que haya un aprendizaje permanente. Han hecho grandes cosas en esa área. Como dije, no sé si es un gran ejemplo, porque tal vez invierten tanto porque piensan que lo único en lo que han invertido es en destruir su economía. Entonces están tratando de hacer algo para contrarrestarlo, y puede ser de gran utilizar mirar este caso.

Hay muchos países que, simplemente, parecen estar haciendo cosas muy buenas. Estuve en Austria en diciembre y dije algo en Alemania y la gente siempre se sorprendía si un hablante anglófono decía algo en otro idioma. Y dijeron: Oh, viví aquí en 2007 y dijeron: Oh, no creerías cómo ha cambiado. En 2007-2008, el principal empleador en Viena al menos era el arte y ahora es digital, por lo que obviamente deben estar haciendo algo bien. Sospecho que muchos lugares están haciendo cosas buenas y es importante compartir buenas prácticas. La ciberseguridad realmente importa.

Una cosa que no me gusta es cuando las personas miran los países que tienen compañías enormes que tienen cantidades increíbles de poder y dicen que esos tipos deben estar haciendo algo bien. Tal vez están haciendo algo mal porque ese no es necesariamente el contexto en el que quieres meterte. Ahora tenemos este problema transnacional porque estas empresas son muy poderosas. Esa es una de las mejores cosas de la UE. Han dejado las cosas muy, muy claras. Las naciones son las que tienen los tribunales, los militares y la policía y luego la unión europea simplemente coordina entre las naciones. Y creo que es una buena estructura. Quiero decir, creo que la geografía importa mucho, pero hay ciertas cosas que las corporaciones tienen que cuidar, como asegurarse de que estén haciendo lo correcto con sus propios productos.

Bien, entonces, ¿cómo gobernamos las corporaciones transnacionales?

No solo quieres un gobierno. Tradicionalmente, la gente decía que la mejor manera de reducir la corrupción es tener un gobierno en un grupo de empresas medianas y todas se vigilan entre sí. Entonces, en cierto modo, deberíamos estar mejor porque tenemos más entidades. Pero creo que, en todo caso, nos estamos inclinando demasiado por el lado de la disrupción y, a veces, descartamos las instituciones que son realmente útiles y hacemos que todos estén más seguros. Y es por eso que estamos viendo esta carrera de desigualdad en la OACD a nivel mundial. La desigualdad ha disminuido, pero en la OACD ha aumentado y eso causa problemas reales porque los ultra ricos son demasiado ricos y poderosos con muy pocas limitaciones. Necesitamos ponernos al tanto de esto.

Mucha gente piensa: «Bueno, ya sabes, cuando tenemos hijos, tú cometiste una acción por la cual un niño existe, pero no puedes diseñarlo». Entonces no decides cuántas manos tienen o cuántos pies tienen. Y no puede elegir el hecho de que su estatus social tiene un gran impacto en su bienestar. Eso no es algo que podamos elegir. De hecho, incluso cuando elegimos un compañero, el 99% de los genes son iguales, por lo que la palabra «elegir» hace una pequeña diferencia. Mientras que con la IA, realmente lo estás construyendo desde cero. Entonces, realmente puedes elegir lo que se recuerda, lo que incluso se percibe y, ciertamente, ¿cuál es la estructura motivacional? Lo único que puedes hacer realmente es escribir. Por eso digo que es como escribir un libro más que como tener un hijo, si eso tiene sentido.

Pasando a las relaciones entre robots humanos, ¿cómo crees que nuestra vida diaria y nuestra vida laboral cambiarán en los próximos años?

No puedo hablar de eso en términos de relaciones porque no creo que sea la metáfora correcta. Como hablamos antes, la IA es una prótesis. Entonces, no es que estemos repentinamente, viendo compañeros de trabajo de IA o lo que sea. Sabes, no es como si de repente hubiera un robot en la empresa. Es mucho más de lo que necesita comprender que cuando trabaja con inteligencia artificial, trabaja con su propia compañía, probablemente combinada con alguna otra compañía, que en realidad está produciendo el artefacto. Por lo tanto, es importante comprender que las relaciones son con otros humanos, o incluso con otros animales. Pero cuando ves un personaje de película o lees una novela o ves IA, estás pasando por ese tipo de movimientos, no hay empatía allí. No es la misma experiencia. Es algo que se ha escrito. Así que no me gusta la idea de presentar a AI como un compañero de trabajo. Hubo un poco de eso con algunos de estos robots de fabricación, pero si vas a trabajar bien con esos robots, aprenderás que es un dispositivo. Es como una máquina de escribir. Descubrirá cómo usarlo en la mejor medida posible. No es que los robots se hagan cargo de los trabajos. Es eso, que una empresa decide si quieren o no automatizar completamente su proceso de negocio. Hay algunas tiendas con gente en las cajas registradoras y hay algunas tiendas donde puedes ir y deslizar los productos tú mismo, ¿verdad? No hay personas en las cajas registradoras. Esa es una decisión de la empresa. No es que las cajas registradoras hayan decidido que hicieron o no dejaron que la gente trabajara allí. Esa es la elección que tenemos que hacer. Muchos de nosotros cuando compramos boletos de avión ahora solo vamos a la web y no hablamos con nadie, ¿verdad? Simplemente escribimos todo. Pero para muchas organizaciones resultó no ser una gran solución. Es bastante interesante para mí que si vas a una tienda de teléfonos, a menudo hay una persona allí y te están hablando, pero en realidad solo están completando formularios. Y luego, si tienes un problema, esa persona realmente no puede resolverlo porque todavía solo están completando el formulario que podrías haber estado completando en casa. Es barato, pero no siempre es útil.

No es que los robots se hagan cargo de los trabajos. Es eso, que una empresa decide si quieren o no automatizar completamente su proceso de negocio.

El consejo que doy a las empresas es siempre tener un camino. Debe haber un camino desde los clientes y proveedores hasta los ejecutivos y las juntas. Desea tener empleados que sepan cuándo es el momento de ascender en la cadena; de lo contrario, no podrá capturar los tipos de problemas que tienen sus empleadores, clientes o proveedores. Y no puede reconocer las oportunidades que podrían estar brindando. Así que creo que es muy importante tener algo ágil. Un ejemplo de todo esto son los bancos. El robot fue llamado cajero automático. Los trajeron en los años ochenta y ahora hay literalmente más cajeros bancarios que en la década de 1980. La razón es que si tiene menos cajeros bancarios por sucursal, pero eso hace que la sucursal sea más barata, entonces los bancos pueden hacer más sucursales y es por eso que tienen más cajeros. Pero el punto es que tenemos un período de 30 años en el que podemos verlo y decir, bueno, ¿qué, qué estaba pasando allí?

Por ejemplo, en LA, no vas a tener estas asociaciones legales gigantes con cientos de asistentes legales porque puedes hacer eso con AI. Eso podría significar que todos tienen un mejor acceso a una mejor ley porque los propios abogados no tienen que pasar por ese proceso doloroso de ser un asistente legal aburrido, sino que pueden usar directamente la inteligencia artificial y ayudar a las personas a resolver sus problemas más rápidamente, y con suerte no pasando por los tribunales todo el tiempo. Entonces, solo los casos judiciales más difíciles y altamente disputados son los que realmente ven a un juez humano.

¿Crees que es demasiado tarde para ser más equitativo, más sostenible, más social?

Bueno, de alguna manera obviamente es demasiado tarde, pero de alguna manera nunca es demasiado tarde mientras todavía hayan personas. Así que creo que siempre estamos tratando de hacer lo mejor que podemos y no debemos perder de vista el hecho de que lo hemos estado haciendo bastante bien. Hay muchas personas que han salido de la pobreza extrema. Llegando a reconocer todas las cosas buenas que sucedieron, así como las cosas malas y trabajando dentro de todas esas piezas. Creo que ese es uno de los problemas emocionantes que tenemos por delante.