«Mal cabello», «buen cabello», «piel fea» y «piel hermosa». ¿Alguna vez has prestado atención a las imágenes que aparecen en línea cuando buscas estos términos? Es común encontrar PERSONAS NEGRAS.

El racismo algorítmico es una manifestación contemporánea del racismo estructural, perpetuado y reforzado por tecnologías digitales. Estas tecnologías, a menudo denominadas inteligencia artificial – un término que Silva desaprueba personalmente – pueden tomar decisiones discriminatorias, generalmente en busca de mayores ganancias y actividad para las empresas. Este comportamiento está en gran parte sin control y, en algunos casos, incluso puede ser intencional, impulsado por la supremacía blanca y el racismo,» enfatiza Silva.

En Brasil, un ejemplo impactante de los efectos del racismo y el sexismo en los motores de búsqueda ocurrió en 2019. La empresaria bahiana y especialista en relaciones públicas Cáren Cruz realizó una búsqueda en línea de «mujer negra enseñando» y se encontró con imágenes que asociaban a las mujeres negras con contenido pornográfico. Estaba preparando una presentación corporativa y había iniciado la búsqueda debido a la falta de imágenes que representaran a mujeres negras en posiciones de enseñanza. Las imágenes explícitas desde entonces han sido eliminadas del motor de búsqueda por la plataforma.

El incidente provocó indignación pública. En ese momento, Google informó al sitio web Bahia Notícias que también se sorprendió y reconoció que las imágenes no deberían haber sido explícitas. «Cuando las personas usan la búsqueda, nuestro objetivo es proporcionar resultados relevantes para los términos de búsqueda utilizados y no tenemos la intención de mostrar resultados explícitos a los usuarios a menos que los estén buscando. Claramente, el conjunto de resultados para el término mencionado no cumple con este principio y nos disculpamos con quienes se sintieron impactados u ofendidos», escribió la compañía en una nota enviada al sitio web.

A pesar de las afirmaciones de los motores de búsqueda de que sus resultados están impulsados por la relevancia o la densidad de palabras clave, Safiya Noble, una profesora e investigadora estadounidense y una figura destacada en el concepto de «racismo algorítmico», desafía la supuesta «neutralidad» de los motores de búsqueda en la categorización de los resultados de búsqueda.

En su libro de 2021, «Algorithms of Oppression: How Search Engines Reinforce Racism», Noble ilumina la replicación de las desigualdades estructurales en el ámbito digital. «Las desigualdades estructurales en la sociedad se están replicando en Internet y la lucha por un ciberespacio sin raza, género y clase solo puede ‘perpetuar y reforzar los sistemas de dominación actuales'», señala la experta, quien también pasó más de una década en el campo del marketing.

Los reporteros se comunicaron con el equipo de Google Brasil para preguntar sobre el funcionamiento del algoritmo de búsqueda de la plataforma y los esfuerzos/estudios de la compañía para prevenir y corregir la perpetuación de resultados perjudiciales para grupos históricamente marginados. En respuesta, Google señaló que debido a que sus sistemas se organizan en función de la «internet abierta», la plataforma puede reflejar sesgos que ya están etiquetados en internet.

Google también mencionó que en mayo del año pasado anunció el lanzamiento de la «Escala Monk Skin Tone (MST)», diseñada para incluir más tonos de piel en la búsqueda de imágenes de la plataforma. La herramienta se basó en la investigación del profesor y sociólogo de Harvard, Dr. Ellis Monk, quien ha estudiado cómo el tono de piel y el colorismo afectan la vida de las personas durante más de 10 años.

Las mujeres negras son un 84% más propensas que las mujeres blancas a ser mencionadas en tweets negativos.

El software de reconocimiento de imágenes de Google etiqueta a las personas negras como gorilas.

Las mujeres negras tienen más probabilidades de aparecer en contextos sexualmente explícitos en la pornografía en línea.

La tecnología de reconocimiento facial es menos precisa para identificar a personas con tonos de piel más oscuros.

Mujeres Negras son las Más Hostilizadas en el Ambiente Virtual

Aunque no hay datos específicos sobre el racismo algorítmico en Brasil disponibles de manera fácil, la investigación indica un ambiente virtual cada vez más hostil para las mujeres negras. Una tesis doctoral del sociólogo Luiz Valério Trindade revela un hecho impactante: las mujeres negras representan el 81% de las víctimas de discursos discriminatorios en las redes sociales. De manera alarmante, la mayoría (65%) de los usuarios en línea que difunden intolerancia racial son hombres en el grupo de edad de 20 a 25 años.

En el panorama de las elecciones municipales más recientes en 2020, el Instituto Marielle Franco llevó a cabo un estudio innovador sobre la violencia política. Los resultados fueron desalentadores: las candidatas negras fueron las más afectadas por la violencia virtual, con un 78% de los encuestados reportando tales experiencias. Otras formas de violencia les siguieron de cerca, con un 62% de violencia moral y psicológica, un 55% de violencia institucional y un 44% de violencia racial.

Según el investigador Tarcízio Silva, la falta de transparencia de las plataformas digitales es un obstáculo significativo para formular estrategias y mapear el racismo algorítmico en Brasil.

«Cuando hablamos de internet, las plataformas digitales no proporcionan transparencia sobre estos tipos de información, o sobre casi cualquier tipo de información relevante para la sociedad y el daño potencial, ya sea discriminación, moderación inapropiada de contenido, desinformación, etc. Lo que está en juego ahora en la regulación de plataformas, por ejemplo, implica obligar a las plataformas a proporcionar datos relacionados con esto. En Brasil, yo diría que no hay datos cuantitativos sobre el racismo algorítmico», enfatiza Silva.

Cómo los Algoritmos Perpetúan Estándares de Belleza Raciales

Los algoritmos, al igual que las estructuras sociales en las que se basan, no son inmunes a los prejuicios arraigados que impregnan nuestro mundo. Su aparente neutralidad oculta una realidad desconcertante: los algoritmos pueden y a menudo perpetúan y amplifican los estándares de belleza racistas existentes.

Los algoritmos, por su propia naturaleza, se entrenan con grandes cantidades de datos, datos que reflejan las sociedades humanas que los crean. Como tal, estos algoritmos están programados para favorecer ciertos estándares de belleza que prevalecen en la sociedad. En el mundo occidental, estos estándares a menudo se inclinan fuertemente hacia la preferencia por rasgos y estéticas blancas, marginando así a las mujeres negras y otras personas de color.

«Los algoritmos no nacen en el vacío. Son creados por seres humanos que llevan consigo sus sesgos conscientes e inconscientes. Y cuando estos sesgos se introducen en el algoritmo, aprende a imitarlos, a menudo de formas que exacerban las desigualdades existentes», dice la Dra. Ruha Benjamin, una destacada socióloga y autora sobre el tema del racismo algorítmico.

En línea, este sesgo se manifiesta de múltiples formas:

Ejemplos de Sesgo Algorítmico en Plataformas de Redes Sociales Populares

En la vasta y compleja red global de internet, varias plataformas populares de redes sociales sirven como importantes centros de interacción humana. Estas plataformas están impulsadas por algoritmos complejos que han demostrado evidencia de sesgo racial, especialmente contra las mujeres negras. Considerados como sesgos invisibles incrustados en los paisajes digitales, estos sesgos no solo reflejan prejuicios sociales, sino que también los propagan, intensificando así la difícil situación de las mujeres negras en línea.

Instagram y Facebook

Instagram y Facebook, ambas propiedad de Meta Platforms Inc., se han visto envueltos en controversias sobre los efectos discriminatorios de sus algoritmos. Investigadores de AlgorithmWatch, una organización sin fines de lucro alemana, han encontrado evidencia de que el algoritmo de Instagram promueve imágenes de mujeres negras con menos frecuencia que a sus contrapartes blancas, contribuyendo a estereotipos perjudiciales y prácticas discriminatorias.

«El algoritmo está sesgado hacia ciertos tipos de contenido y en contra de otros, y ese sesgo no es neutral. Tiene impactos en la vida real de las personas», –

Matthias Spielkamp, director ejecutivo de AlgorithmWatch.

Las posibles consecuencias de ignorar el racismo algorítmico

La persistente ignorancia del racismo algorítmico en nuestra era digital tiene implicaciones significativas, especialmente para las mujeres negras, cuya imagen y voces a menudo son distorsionadas o silenciadas por algoritmos discriminatorios. Las posibles consecuencias de ignorar un problema tan apremiante son de gran alcance, poniendo en peligro no solo a los individuos, sino también los esfuerzos de la sociedad por fomentar la inclusión digital y combatir el racismo sistémico.

Desempoderamiento Sistémico: Al perpetuar los sesgos raciales, el racismo algorítmico efectivamente margina las voces e imágenes de las mujeres negras, socavando su representación y participación en el espacio digital. Este desempoderamiento sistémico propaga daños dañinos…

«No se trata solo de una representación sesgada o de la invisibilidad», dice la Dra. Safiya Noble, autora de ‘Algorithms of Oppression’, «se trata de cómo estos sesgos incrustados en los algoritmos pueden impactar vidas reales, moldear percepciones y reforzar desigualdades raciales».

Perpetuación de Estereotipos Raciales: Cuando los algoritmos continúan proyectando imágenes distorsionadas de las mujeres negras, perpetúan estereotipos raciales perjudiciales. Estos algoritmos, codificados con una perspectiva predominantemente blanca y eurocéntrica, a menudo no logran identificar, categorizar o valorar correctamente la belleza y la diversidad de las mujeres negras. El resultado es un espacio digital que refleja y amplifica prejuicios raciales de larga data, profundizando aún más la desigualdad. Este racismo algorítmico puede llevar a la marginación de las mujeres negras, afectando adversamente su bienestar social, económico y psicológico.