Você já ouviu falar em inteligência artificial racista? O que antes parecia possível somente em algum roteiro de filme de ficção científica, já se mostra presente em nossa sociedade. Neste artigo vamos falar sobre como o racismo algorítmico vem impactando o cenário de tecnologia e escalando efeitos da desigualdade racial.

Vivemos um momento de utilização generalizada de inteligência artificial e o que aparentemente deveria ser um método seguro e infalível, vem mostrado diversas falhas e equívocos. Muitas vezes, evidenciam problemas estruturais de nossa sociedade.

O reconhecimento facial é um tipo de I.A. que está sendo amplamente utilizado para facilidades do dia a dia e também surge como um auxiliar em mecanismos de segurança pública. Entretanto, essa tecnologia ainda apresenta viés e imprecisão gerando casos muito graves de racismo provocados pela inteligência artificial.

Continue a leitura e aprenda sobre as consequências do mau uso dessa tecnologia e como resguardar sua aplicação desse problema.

Tecnologias são neutras?

Existe uma percepção de que computadores são a provas de erros devido a sua precisão matemática e grande capacidade de processamento. Seguindo essa crença delegamos a eles decisões que se pretendem infalíveis.

Entretanto esquecemos que toda a inteligência das máquinas são programadas por nós, seres humanos e consequentemente estarão impregnadas com nossos valores, crenças, definição de sucesso e invariavelmente nossos preconceitos.

A implementação em larga escala de modelos de reconhecimento facial é uma das discussões mais polêmicas e atuais sobre inteligência artificial. Diversos estudos realizados nos últimos anos apontam um número alarmante de imprecisão, principalmente entre pessoas negras.

Inteligências artificiais podem ser racistas?

A inteligência artificial por si não é exatamente racista, mas ela pode ser estruturada em um contexto altamente atravessado por vieses e preconceitos causando uma situação de racismo e outras exclusões sociais quando aplicada.

Em 2015 o Google Photos tornou-se alvo de acusações de racismo algorítmico após um usuário negro ter suas fotos rotuladas como “Gorila” ao utilizar uma feature de categorização automática das fotos. A direção da companhia veio a público e se desculpou pelo acontecido, porém ficou nítido a falta de precisão do reconhecimento facial e o caso abriu especulações sobre os vieses raciais do caso

O reconhecimento facial também segue amplamente utilizado em gadgets do nosso cotidiano. O seu uso para desbloqueio de fechaduras inteligentes e smartphones é um ótimo exemplo de que se a IA for contaminada por vieses racistas existirá um impacto negativo na usabilidade e acessibilidade desses dispositivos. 

Esses exemplos podem até parecer inofensivos, mas expõe o risco real de uma escalada de desigualdades e violências raciais, que já existem.

Imagine a seguinte situação, um jovem negro com necessidades especiais está a caminho de uma consulta médica, acompanhado por sua mãe idosa. Ele entra em uma padaria para fazer um lanche, quando de repente é abordado violentamente pela polícia, com armas apontadas para sua cabeça e recebe voz de prisão por diversos crimes que ele jamais cometeu. 

Não parece uma situação anormal, se não fosse o detalhe, foi identificado erroneamente por causa de um falso positivo do sistema de reconhecimento facial utilizado pela PM. 

É importante considerarmos o constrangimento, a agressão e todo o risco a que esse rapaz foi exposto.  Esse caso aconteceu na cidade de Salvador em setembro de 2019 e não foi a primeira vez que o sistema da Secretaria de Segurança Pública da Bahia reconheceu uma pessoa em consequência de um falso positivo culminando em uma abordagem violenta e prisão de uma pessoa inocente.

Mas por que as Inteligências Artificiais se tornam racistas?

Em nosso contexto social um dos motivos que levam inteligências artificiais apresentarem resultados racistas é porque elas podem estar sendo expostas a uma base de dados enviesada.

A falta de diversidade em times de desenvolvimento das IAs também é um problema que se reflete nos sistemas criados. No Brasil, cerca de 92% dos cargos da área de engenharia de equipamento e computação são ocupados por pessoas brancas, segundo dados do  Ministério do Trabalho e Emprego em 2016. 

Ou seja, podem ocorrer casos de racismo quando as I.A.s são treinadas a identificar, como caso de sucesso, apenas um padrão específico em um acervo de dados sem muita diversidade e com curadoria de um time de desenvolvimento pouco diverso. No caso a seguir aprofundaremos nesse ponto.

Após perceber que seu rosto não era reconhecido pelo sistema no qual trabalhava, Joy Buolamwini, mulher negra e pesquisadora do MIT (Massachusetts Institute of Technology), iniciou um estudo sobre a precisão dos algoritmos dos principais sistemas disponíveis no mercado.

O estudo Gender Shades avaliou sistemas de reconhecimento facial da IBM, Microsoft e Face++  revelando que existe um erro médio de 0,8% para reconhecimento de rostos de homens brancos, o que é considerado muito baixo. Porém podem errar até 34% ao reconhecer rostos de mulheres negras. Ou seja, esses modelos foram muito bem treinados para reconhecer homens brancos

Para entender mais sobre a pesquisa e seus resultados assista o TED Talk  onde a própria Joy fala sobre sua jornada científica em identificar inteligências artificiais racistas e prover modelos mais éticos para a ciência de dados.

E agora, como não criar uma inteligência artificial racista?

Essa não é uma pergunta simples de responder, pois como já vimos ao decorrer do texto, o desenvolvimento das tecnologias tendem a refletir as desigualdades presentes em nossa sociedade. Porém, existem algumas diretrizes que podem deixar mais transparente os sistemas de I.A. e suas aplicações práticas.

Curadoria de dados

A escolha criteriosa do dataset (conjunto de dados), é o primeiro passo para garantir a procedência, quantidade, qualidade e diversidade nos dados a serem utilizados.

Treinamento

Neste momento são criadas as características que farão parte da base de dados utilizada no treinamento da IA, e qualquer decisão arbitrária por parte do time de desenvolvimento pode impactar no enviesamento dos dados e resultados excludentes.

Explicabilidade das decisões:

Investir em xIA – Inteligência Artificial Explicável é um excelente caminho para evitar sistemas de decisão opacos e que podem estar repletos de vieses.

Auditoria Externa

Existem diversas iniciativas engajadas em ética de dados que realizam auditorias em IAs. A Liga da Justiça dos Algoritmos, foi criada pela Joy Buolamwini citada anteriormente no texto. Existe também o Big Brother Watch UK e o Safe Face Pledge, todos atuando a fim de garantir transparência das IAs.

Diversidade

Um time diverso e multidisciplinar enriquece o processo e agrega diferentes backgrounds e visões ao desenvolvimento da IA, reduzindo vieses e ampliando o impacto das soluções.

Não existe receita de bolo para resolver problemas estruturais da sociedade, mas um ótimo caminho é adotarmos um ponto de vista crítico sobre sistemas de inteligência artificial e o uso indiscriminado de reconhecimento facial.

A inovação precisa de diversidade e múltiplos olhares para se tornar uma ferramenta de disrupção e avanço social para todos. Enquanto a sociedade continuar utilizando em larga escala tecnologias que reforçam o racismo e outras discriminações, estaremos apenas tornando hi-tech velhas estruturas de poder e violência.

Gostou de saber porque a Inteligência artificial racista deve ser evitada? Aprenda mais sobre Inteligência Artificial no artigo: Qual a diferença entre Inteligência Artificial e Machine Learning?

Converse com nosso time e descubra como conversas inteligentes podem transformar o atendimento do seu negócio

Mais Lidos

Gostou do nosso conteúdo?

Agora que já chegou até aqui, adoraríamos saber o que tem achado de nós 😀