Deputada denuncia racismo algorítmico em ferramenta de IA

Por Adrianocs 

02/11/2023

A deputada estadual pelo Rio de Janeiro, Renata Souza (PSOL), denunciou na última quinta-feira (26/10) um caso de racismo algorítmico. Ao pedir que uma ferramenta de inteligência artificial (IA) criasse um desenho de uma mulher negra na favela, ela obteve uma imagem de uma personagem com uma arma de fogo na mão.

A deputada, contudo, estava entrando na onda da trend, que consiste em gerar uma personagem ao estilo Pixar a partir de um comando em texto para uma ferramenta de geração de imagens. No último ano, ferramentas que usam IA para criar imagens, como DALL-E e Midjourney, ganharam notoriedade na rede.

Prompt utilizado para gerar a imagem

Segundo a deputada, o comando dado foi “mulher negra, de cabelos afro, com roupas de estampa africana num cenário de favela” – ou seja, não teria havido pedido para que uma arma aparecesse no cenário. Embora, ela não tenha fornecido código completo das instruções dadas ao IA, é sabido que as IAs de criação de imagens, cria imagens únicas com algum detalhe que as diferenciem. Isto é importante, porque ao tentar reproduzir com o mesmo comando a imagem certamente será diferente.

Entretanto, a imagem apresentada do prompt original indica que supostamente foi alterado depois da geração da imagem, “há 45 min” do momento do post (27/10), como pode ser visto.

Contexto adicionado por leitores

A imagem foi gerada em 25/10, dias antes. Não é possível determinar a veracidade da alegação frente a esta adulteração, contexto adicionado pelos leitores.

Resposta da Microsoft

No entanto, o caso viralizou e a Microsoft, que é dona da ferramenta usada pela deputada, se posicionou: “Estamos investigando este relato e tomaremos as medidas adequadas para ajustar nosso serviço. Estamos totalmente comprometidos em melhorar a precisão dos resultados desta nova tecnologia e fazendo investimentos adicionais para isso.”

O que é racismo algorítmico?

Racismo algorítmico é um termo usado para descrever a discriminação que ocorre quando sistemas de IA são usados para tomar decisões sobre pessoas com base em sua raça ou origem étnica.

No caso da deputada Renata Souza, o racismo algorítmico se manifestou na ferramenta de IA que associou uma mulher negra a uma arma de fogo. Isso pode ser explicado pelo fato de que os dados usados para treinar a ferramenta podem estar enviesados, refletindo as representações racistas que existem na sociedade.

Como combater o racismo algorítmico?

Para combater o racismo algorítmico, é importante que empresas e pesquisadores estejam cientes do problema e trabalhem para minimizá-lo.

Algumas medidas que podem ser tomadas incluem:

• Avaliar os dados usados para treinar os algoritmos, identificando e removendo dados enviesados.
• Desenvolver técnicas para reduzir o viés nos algoritmos.
• Tornar os algoritmos mais transparentes, explicando como eles funcionam e como tomam suas decisões.

A União Europeia está trabalhando em uma proposta de lei que exigirá que as empresas que usam IA tomem medidas para combater o racismo algorítmico. No Brasil, a discussão sobre o tema ainda está em estágio inicial.

Conclusão

O caso da deputada Renata Souza é um alerta para o problema do racismo algorítmico. É importante que empresas e pesquisadores trabalhem para minimizar esse problema, para que sistemas de IA sejam mais justos e inclusivos