Skip to main content

Joanna Bryson, experta en IA, habla sobre la diligencia debida y la eliminación de los prejuicios sobre la IA, parte 1

Roland Alston, Appian
February 18, 2021

Hay mucho bombo y platillo sobre la inteligencia artificial (IA) y cómo está revolucionando esto o transformando aquello. Pero en esta oportuna revisión de un artículo publicado anteriormente, la experta en IA Joanna Bryson (@j2bryson) denuncia la hipérbole de la IA y nos ayuda a ir al meollo del asunto a la hora de:

    • Eliminar los prejuicios en la IA.

    • Dar prioridad a la diligencia debida en el desarrollo de software.

    • Regular la IA sin quitarle la magia a la innovación en IA.

Nota: Bryson es profesora de Ética y Tecnología en la Hertie School of Governance de Berlín, donde forma a futuros tecnólogos y legisladores en materia de inclusión digital y gobernanza de la IA. Es una de las principales voces del movimiento para mejorar la gobernanza y la ética de la tecnología digital. Recientemente ha sido reconocida como una de las principales personas influyentes en el ámbito digital por la European Digital Development Alliance (Alianza Europea para el Desarrollo Digital).

Si se repasan las noticias sobre tendencias tecnológicas, se puede ver que la IA sigue acelerando desde la periferia hasta la corriente principal a una velocidad extraordinaria. Las grandes empresas tecnológicas lo apuestan todo a la IA. Las agencias gubernamentales están invirtiendo miles de millones en ella. Y los llamamientos a dar prioridad a las consideraciones éticas en el despliegue de la IA resuenan en las juntas directivas y los consejos de administración de todo el mundo.

Entonces, ¿qué hacemos ahora?

Parece que estamos en una encrucijada en lo que Harvard Business Review llama la era de la IA desplegada. Según Bryson, el rumbo que tomemos a partir de ahora depende más de la gobernanza que elijamos para guiar la evolución de la IA que de cualquier otra cosa. Por ello, las empresas, los legisladores y los tecnólogos tienen cada vez más ganas de actuar con la debida diligencia en los casos de uso de sistemas de puntuación de riesgos basados en la IA en ámbitos como la justicia penal, los servicios sociales, la sanidad y otros similares.

La responsabilidad de la ética de la IA puede recaer en última instancia en los consejos de administración y los ejecutivos de alto nivel. Pero la gran pregunta es: ¿Cómo podemos escalar éticamente los mejores casos de uso de la IA?

"Lo importante, dice Bryson, es que entendamos cómo la IA toma decisiones, cómo determina lo que vemos y lo que no, y quién es responsable cuando no funciona".

Echa un vistazo a la siguiente revisión de nuestra conversación de 2018 (pero de plena actualidad) con la líder de pensamiento en IA Joanna Bryson.

Appian: ¿Eres optimista o pesimista sobre el impacto de la IA en la sociedad?

Bryson: Algunas personas me llaman optimista. Pero otros piensan que soy una completa tecnófoba pesimista.

Appian: Cuando piensa en la asombrosa evolución de la IA, ¿qué le preocupa del futuro? ¿qué le quita el sueño?

Bryson: Un futuro en el que no podamos ser nosotros mismos, en el que todo nuestro historial esté en línea, y podamos ser penalizados por ello. Eso me preocupa mucho ahora mismo. Así que soy muy consciente de los inconvenientes del "estado de vigilancia". Y no veo la manera de evitarlo. La gente va a saber quiénes somos, lo que hacemos, lo que hemos hecho y lo que estamos dispuestos a hacer.

Appian: Algunos expertos dicen que la IA refleja los valores de nuestra cultura y que no podemos acertar con la IA si no estamos dispuestos a acertar con nosotros mismos. ¿Cuál es la clave para acertar con la IA?

Bryson:

"Creo que lo que tenemos que hacer, y que se está convirtiendo en el tema más importante, es cómo gestionamos nuestra gobernanza de la IA. Cómo coordinamos nuestras acciones a través de la gobernanza para proteger a los individuos".

¿Deben regularse los algoritmos?

Appian: Entonces, en el contexto de la regulación y la gobernanza, ¿qué consejo daría a los líderes empresariales sobre el desarrollo ético de la IA?

Bryson: Lo más importante que estoy impulsando ahora mismo con las empresas y los reguladores es que necesitamos tener una mayor rendición de cuentas con la IA, y esto es factible.

Appian: ¿Qué hay de los temores de que la regulación de la IA ahogue la innovación? ¿Qué opina de ello?

Bryson: Ha habido mucho humo y muchos espejismos en torno a la IA. Hace poco, ingenieros de alto nivel salieron a decir que si se regula, se perderá el aprendizaje profundo, que es el motor mágico de la innovación en IA. Sin embargo, ahora hay grandes empresas tecnológicas que dicen que sí creen en la regulación de la IA.

Creo que es importante reconocer que podemos rastrear y documentar si se sigue o no la debida diligencia en el desarrollo de la IA. El proceso no es diferente al de cualquier otra industria. Simplemente la IA ha pasado desapercibida.

Appian: ¿Cuál es el problema de la transparencia en la IA y por qué es importante?

"En este momento, mucha gente está liberando código, y ni siquiera saben a qué bibliotecas [de código] está vinculado, de dónde obtuvieron estas bibliotecas, y si han sido comprometidas o tienen puertas traseras".

Así que hay que tener más cuidado. Es como el puente (Morandi) que se derrumbó en Italia en 2018. Cuando no se sabe la calidad de los materiales utilizados en un proyecto de construcción, o si se tomaron atajos, no se puede saber de verdad lo fuerte que es el puente.

Hoy en día, tenemos leyes al respecto, relativas a los puentes y los edificios. Sin embargo, si nos remontamos a unos cuantos siglos atrás, cualquier persona lo suficientemente rica podía construir un edificio donde quisiera.

Ahora, si quieres construir un edificio, tienes que presentarte ante la comisión de urbanismo. Tus arquitectos tienen que tener licencia. Y todo eso ocurre porque los edificios son muy importantes. Si no están bien construidos, se caen.

https://open.spotify.com/episode/29wGMEgijFq6cfLzgSmAF0?si=vETGXR2ZRGS_-61Rjw7X7A

¿Puede respaldar su software?

Appian: Entonces, ¿cree que tenemos que tomarnos más en serio la diligencia debida en el desarrollo de software?

Bryson: Deberíamos seguir procedimientos para asegurarnos de que las innovaciones que hacemos sean sostenibles. Deberíamos ser capaces de demostrar que podemos respaldar nuestro software. Y deberíamos rendir cuentas por lo que hace nuestro software.

Appian: Eso suena razonable. Pero, hablando en términos prácticos, ¿cómo se hace eso en el mundo real?

Bryson: Bueno, escuché una historia excelente relacionada con este tema. Casi todos los coches que circulan tienen algún nivel de IA. Y una de las cosas que hace la IA es ayudarte a mantenerte en tu carril.

Pero un hombre en Alemania tuvo un ataque mientras conducía. Y fue un tipo de derrame que dejó sus manos en el volante y sus ojos abiertos. La IA mira para ver si te estás quedando dormido al volante. Sin embargo, en este caso, el coche pensó que el conductor estaba bien. Así que la IA mantuvo el carril y el coche siguió moviéndose en línea recta. Y terminó teniendo un terrible accidente.

Los abogados de la acusación buscaron a la empresa de automóviles para averiguar qué habían hecho mal. Sin embargo la empresa pudo demostrar que había seguido las mejores prácticas y les convenció de que no había ningún caso que presentar.

Appian: ¿Cuál es la moraleja para los líderes empresariales?

Bryson: No importa en qué sector estés, deberías ser capaz de demostrar que has seguido métodos muy cuidadosos de creación de software, incluido el uso de aprendizaje automático.

Si diriges un banco y tienes un problema de contabilidad, no miras las sinapsis en el cerebro de tu contable. Miras si las cuentas se han hecho correctamente.

Y creo que se puede hacer lo mismo con el aprendizaje automático: "Estos son los datos que he utilizado. Así es como lo entrené. Así es como utilicé las mejores prácticas". De esta forma se reduce el riesgo.

(PD: Esté atento al último episodio de esta conversación en dos partes con la destacada experta en IA Joanna Bryson. Mientras tanto, para obtener información sobre la IA y el desarrollo low-code, consulte este informe de Cognilytica Research.)