Los sesgos en la inteligencia artificial (IA) pueden tener efectos devastadores en comunidades históricamente marginadas, como la LGBTIQ+. La tecnología que diseñamos, entrenada con grandes volúmenes de datos, no está exenta de prejuicios humanos. Arjun Subramonian, un joven estadounidense de 24 años, se adentró en el mundo de la tecnología con una visión optimista sobre el potencial de la informática. Sin embargo, mientras estudiaba Ciencias de la Computación en la Universidad de California, se dio cuenta de una importante brecha en la industria: la escasa representación de personas LGBTIQ+ y las consecuencias de esta subrepresentación en los sistemas de IA.
Subramonian es uno de los fundadores de Queer in AI, una organización creada en 2020 para visibilizar la diversidad en el ámbito tecnológico. A lo largo de su trayectoria, ha advertido sobre la creciente censura y los sesgos en los sistemas de IA que pueden afectar a las comunidades LGBTIQ+. “La censura es uno de los daños más graves a corto plazo”, afirma. En particular, describe una experiencia personal durante la pandemia, cuando él y otros activistas se dieron cuenta de que el término «queer» era bloqueado en su plataforma de mensajería. El sistema impedía que los mensajes con esa palabra se enviaran debido a las listas de bloqueo y filtros automatizados que moderan el contenido, afectando directamente el discurso LGBTIQ+.
Los prejuicios en los datos y su impacto en la IA
Los modelos de IA se entrenan con enormes cantidades de datos, muchos de los cuales contienen prejuicios inherentes, como la marginalización de grupos como las personas transgénero o no binarias. Un caso relevante es el de Ilia S., un activista transgénero de 29 años de Rusia. Ilia relata una experiencia angustiante con un sistema de reconocimiento de voz en su banco, que no lo reconoció debido a su voz andrógina, concluyendo erróneamente que era otra persona. “El sistema me acusó de fraude sin poder demostrar que era yo”, lamenta. Este incidente resalta las fallas en los sistemas de IA que, aunque diseñados para ser imparciales, reproducen los mismos sesgos que existen en la sociedad.
Además, los sesgos de género y orientación sexual pueden ser amplificados por las tecnologías de reconocimiento facial, que intentan identificar a las personas basándose en características físicas. Ilia compartió que en algunas plataformas, como MidJourney, su rostro no es reconocido correctamente y a veces se genera una imagen distorsionada. “Antes, el sistema lo interpretaba como un rostro de una persona mayor. Ahora, con mejoras, ha mejorado mucho, pero sigue teniendo limitaciones”, comenta.
Censura y errores de identidad
El problema de los sesgos en la IA no solo se limita al reconocimiento facial o de voz, sino también al procesamiento de datos en línea. Subramonian, por ejemplo, experimentó lo que se conoce como “misgendering” o el uso incorrecto de pronombres, al descubrir un texto generado por IA que recopilaba su biografía. Como persona no binaria, Subramonian notó que la IA usó pronombres incorrectos, lo que refleja cómo los algoritmos pueden perpetuar la invisibilización de identidades queer.
Ilia también ha observado cómo las leyes en su país, como la ley contra la propaganda LGBTIQ+, han influido en el contenido disponible en línea. El contenido relacionado con la comunidad LGBTIQ+ ha sido censurado, lo que afecta la forma en que la IA procesa y responde a ciertos términos. “Si buscas información LGBTIQ+ en algunos sitios rusos, simplemente no aparece. Se ha eliminado intencionadamente”, explica.
¿Cómo cambiar la situación?
El debate sobre los sesgos en la IA también pone en evidencia el problema estructural dentro de la industria tecnológica. Muchos expertos, como Cristina Aranda, doctora en Lingüística, señalan que los sistemas de IA están diseñados y entrenados por equipos homogéneos, compuestos mayoritariamente por hombres blancos de mediana edad. “La IA refleja la visión de quienes la crean, que son en su mayoría de la misma cultura”, comenta Aranda, haciendo hincapié en la necesidad de una mayor diversidad en los equipos que desarrollan estas tecnologías.
Aranda también sugiere que las disciplinas de humanidades, como la lingüística y la psicología, deberían involucrarse más en la creación de sistemas de IA. “Los sistemas de IA son inteligentes, pero les falta ‘calle’. Necesitan tener más inteligencia social para poder entender mejor la complejidad humana”, subraya. Esta reflexión se alinea con la crítica de otros expertos, como Adio Dinika, politólogo zimbabuense, quien destaca cómo Silicon Valley ha determinado el enfoque de la IA.
El papel del marco regulatorio
El reto, según algunos expertos, radica en la falta de un marco regulatorio global que pueda frenar estos sesgos. La IA, aunque poderosa, sigue siendo susceptible a las influencias de los intereses corporativos y las ideologías de quienes la desarrollan. Subramonian concluye: “La tecnología que usamos la crean grandes corporaciones que, a menudo, operan bajo el capitalismo de vigilancia. Por eso es tan importante que discutamos cómo se utiliza la IA y qué sesgos se perpetúan”.
