La Fundación Vía Libre e investigadoras de la Universidad Nacional de Córdoba y el Consejo Nacional de Investigaciones Científicas y Técnicas (Conicet) presentaron un método que busca detectar y mitigar sesgos y estereotipos del lenguaje en desarrollos que utilizan inteligencia artificial, desde una perspectiva latinoamericana.
Ya cuentan con un primer prototipo y convocan a quienes quieran probarlo y aplicarlo en sus propias investigaciones.
Detrás de cada buscador en línea, de cada traductor e incluso en sistemas bancarios y laborales hay algoritmos que los convierten en herramientas que discriminan, derribando el mito falso que postula que la tecnología es objetiva e imparcial.
Un ejemplo que se hizo conocido en el año 2021 tuvo como protagonista a Twitter, una red social que cuenta con alrededor de 436 millones de usuarios a nivel mundial, cuando algunos seguidores se quejaron, y la empresa terminó por reconocerlo, de que el algoritmo que recorta imágenes para las vistas previas de los tuits reproducía sesgos de género y raza y, por ejemplo, priorizaba mostrar imágenes de personas blancas.
Otro caso que también trascendió en 2021 fue en Países Bajos, cuando se advirtió discriminación en un sistema que utilizaban las autoridades tributarias de ese país para detectar solicitudes de prestaciones para el cuidado infantil posiblemente fraudulentas.
Según un informe de Amnistía Internacional, “decenas de miles de personas fueron acusadas falsamente de fraude y obligadas a devolver grandes sumas de dinero, lo que causó graves problemas a las familias, desde endeudamiento y desempleo hasta desalojos forzosos y problemas de salud. En particular, las personas de origen migrante y de familias con ingresos bajos se vieron afectadas de manera desproporcionada porque el sistema algorítmico consideraba el dato de no tener la nacionalidad neerlandesa como factor de riesgo”.
Según Laura Alonso, investigadora del Conicet en la Facultad de Matemática, Astronomía, Física y Computación de la Universidad Nacional de Córdoba (FAMAF-UNC), “hay una visión muy positivista e ingenua de estas tecnologías: se asume que son bienintencionadas y eso no siempre es cierto, y aunque no sean malintencionadas, codifican los valores de las empresas que los desarrollan. En ese sentido, pueden ser muy dañinas para comunidades que no son las mismas que las de esas empresas”.
La investigadora forma parte de un grupo interdisciplinario que, junto con la Fundación Vía Libre, desarrolla métodos que permitan detectar y mitigar sesgos en sistemas de inteligencia artificial que utilizan el lenguaje natural, adaptados al idioma castellano y a los contextos de la región.
“Tratamos de sensibilizar y evidenciar cómo todas estas tecnologías no son neutrales, cómo codifican valores y los trasladan de una forma muy sutil, y que justamente por lo sutil pueden ser mucho más efectivas que cosas más evidentes”, dijo Alonso, especializada en lingüística computacional, y que trabaja en este proyecto junto con especialistas de otras disciplinas como computación, comunicación y educación.
“El primer paso es visibilizar e identificar los sesgos y dejar de pensar que la tecnología va a arrojar un resultado objetivo y libre de estereotipos”, coincidió Beatriz Busaniche, presidenta de la Fundación Vía Libre y coordinadora de este proyecto.
La iniciativa, que es parte de la Alianza App+, una red de inteligencia artificial feminista financiada por el International Development Research Centre (IDRC), busca adaptar, desarrollar y disponer herramientas para diagnosticar sesgos y estereotipos en áreas de procesamiento del lenguaje natural en inteligencia artificial, desde una perspectiva latinoamericana.
El proyecto consta de distintas etapas, la primera era la redacción de un artículo científico que fue seleccionado por los evaluadores para pasar a la segunda instancia, de desarrollo del prototipo, que esperan tener listo y disponible para probar en octubre.
La tercera y última etapa, prevista para el año 2023, es poner a prueba esta metodología.
“A diferencia de otros procesos, en los cuales se busca explicar fenómenos complejos desde la ciencia de la computación, pero que no puede abordarlos por sí misma porque tiende a reducirlos a binarismos y métricas, estamos buscando a expertos y expertas en ciencias sociales, para que nos ayuden a explorar esos sesgos que están implicados en los sistemas automatizados”, dijo Busaniche, licenciada en comunicación social y docente en la Universidad de Buenos Aires (UBA) y en la FLACSO.
Adelanta que, posiblemente en octubre, realicen talleres presenciales para potenciales usuarios interesados, para poder comenzar a hacer pruebas de concepto y ajustes de uso y funcionamiento de estos métodos.
“Actualmente, los científicos sociales tienen roles muy periféricos en el desarrollo de las herramientas de inteligencia artificial, y creemos que es muy importante involucrarlos de una forma mucho más central en el núcleo del desarrollo, para que puedan contribuir a prevenir errores o fallas en lugar de solucionar con parches”, destacó Alonso.
La propuesta es que potenciales usuarios con experiencia en otros campos de dominio epistemológico, que trabajen con migrantes, con educación y con sesgos de género, por ejemplo, se sumen a esta iniciativa y se apropien de estas herramientas para llevarlas a sus propios trabajos e investigaciones, y puedan tener un intercambio de saberes y experiencias que permita ir ajustando el método en desarrollo.
“Nuestro objetivo es que lo puedan usar los verdaderos especialistas en estereotipos y sesgos, que normalmente no son las personas que saben programar”, dijo Alonso.
El prototipo en el cual trabajan, que está desarrollado en lenguaje Python, de código abierto, sobre una plataforma denominada «huggingface», facilita formas diferentes de detectar cómo son las asociaciones de palabras en los sistemas que procesan automáticamente el lenguaje natural.
En el tratamiento automático del lenguaje hay diferentes piezas en un flujo («pipeline») por donde se procesa el lenguaje.
Algunas de esas piezas son muy útiles, porque permiten ver si una palabra se vincula más con un tema o con otro, a través de asociaciones entre palabras codificadas en unos “artefactos” que se obtienen usando redes neuronales sobre inmensas cantidades de textos.
La plataforma permite hacer experimentos y arroja una mirada gráfica de las evaluaciones de sesgo.
Por ejemplo, las investigadoras evaluaron el sesgo norteamericano/latinoamericano en función de profesiones y pudieron ver cómo algunas están vinculadas con los latinoamericanos, como deportistas, futbolistas y obreros, y otras con norteamericanos, como economistas y programadores.
También trabajaron con otras dualidades como joven/viejo y rural/urbano, y así como con cuestiones de género.
“Así pudimos determinar que la palabra enfermera está mucho más asociada a mujer/niña/ abuela, de lo que la palabra enfermero está asociada a hombre/ niño/ abuelo, lo que demuestra que hay cierto sesgo que indica que enfermero no es tan masculino como enfermera lo es femenino”, ejemplificó Alonso.
Destacó que lo que les resulta más difícil en este proceso es pensar más allá de lo que viene haciendo la comunidad de programadores.
“Nosotros venimos de un campo donde se realizan las métricas y no se nos ocurre cómo hacer una exploración más cualitativa. En eso nos estamos nutriendo fuertemente de otros saberes, pero cuesta porque todas las herramientas que conocemos están orientadas a otro tipo de funcionamiento”, reconoció Alonso.
