Por EloInsights
- A tecnologia é constituída e ganha sentido por meio das pessoas. Por isso, também é capaz de carregar vieses e reproduzir discriminações que afetam a todos, inclusive as empresas.
- Invenções emergentes, como a inteligência artificial, já apoiam e tomam diversos tipos de decisão. O perigo está em se pautar por uma falsa neutralidade da tecnologia, ignorando sua dimensão social.
- Por meio de exemplos práticos, desdobramos como o racismo algorítmico afeta as pessoas. Combatê-lo envolve a construção de uma cultura corporativa que respeite e promova a diversidade.
Para uma pessoa de pele branca pode até parecer banal o uso de um software com reconhecimento facial. A tecnologia já vem embarcada em diversos dispositivos, como nossos smartphones, e já é usada em atividades cotidianas, como validar acessos a aeroportos, a escolas, a empresas e até mesmo em portarias eletrônicas de prédios residenciais.
Contudo, para uma pessoa negra, ou que pertença a outros grupos minorizados, essa experiência pode ser um agressivo lembrete dos vieses contidos em nossa estrutura social. Seja porque seus rostos sequer chegam a ser detectados, seja porque suas feições podem ser confundidas com as de outras pessoas. Isso se explica, em parte, pela falta de diversidade das imagens que alimentam bancos de dados usados para treinar dispositivos baseados em inteligência artificial (IA).
A baixa variedade de fenótipos, características como cor de pele, formato e cor de olhos, rostos e texturas de cabelos, faz com que seja muito maior a chance desse tipo de tecnologia se confundir ao comparar, por exemplo, os rostos de duas pessoas negras do que errar na identificação entre duas pessoas com características similares entre si, mas de pele clara.
Situações como essas fazem parte do que especialistas chamam de racismo algorítmico. Esse fenômeno se refere ao desdobramento de nossos vieses inconscientes em algoritmos que ordenam o funcionamento de dispositivos e acabam reproduzindo opressões em ambientes digitais. O resultado é que diversas tecnologias emergentes estão sujeitas a reproduzir estereótipos e assimetrias incrustados no imaginário coletivo ao longo de toda a história.
“Defino racismo algorítmico como o modo pelo qual a atual disposição de tecnologias, imaginários sociais e técnicos fortalece a ordenação racializada de conhecimentos, recursos, espaço e violência em detrimento de grupos não-brancos”, diz Tarcizio Silva, pesquisador associado à Fundação Mozilla e autor do livro “Racismo algorítmico: inteligência artificial e discriminação nas redes digitais”.
Para Silva, o principal problema não está nas linhas de código, mas no reforço e favorecimento da reprodução de desenhos de poder e opressão que já estão em vigor no mundo. A implementação de tecnologias digitais não tem exclusivamente um caráter técnico e, portanto, não pode ser acrítica. Carrega também implicações sociais, as quais devem estar em pauta nas empresas.
Pedro Guilherme Ferreira, diretor de Analytics na EloGroup, aponta para a necessidade de entender o nível de criticidade do debate, e não apenas pelo potencial dano à reputação de empresas. “Racismo é crime e precisa ser combatido. Com o racismo nos algoritmos não deve ser diferente. O viés nos dados está contido nesse universo e, em última instância, pode gerar grandes prejuízos”.
No artigo, debateremos principalmente o racismo algorítmico, mas qualquer tipo de viés ou discriminação interfere na relação entre pessoas e tecnologia, dois elementos centrais no processo de transformação digital pelo qual as organizações estão passando. Sobretudo quando a dimensão social ganha relevância dentro das pautas ESG.
Ao olharmos para o S da sigla, podemos fazer um elo direto entre o tema deste artigo e a construção de uma cultura corporativa aberta, capaz de engajar stakeholders em torno de objetivos estratégicos, sem deixar de lado a responsabilização por possíveis efeitos negativos à sociedade.
“Diferentes pontos de vista são construídos por conta de diferentes experiências com base em nossos marcadores sociais. Em lugares onde há diversas perspectivas, as pessoas vão olhar para uma mesma situação com uma lente diferente. A soma dessas várias visões se completam e formam uma visão muito mais próxima da realidade. Esse é o grande valor da diversidade quando a gente pensa em tomada de decisão”, afirma Gabriel Leví, líder de Diversidade e Inclusão (D&I) na EloGroup.
A construção de um futuro mais plural, sustentável e rentável passa pela promoção da inclusão, equidade e diversidade no meio corporativo. A geração de valor nos negócios é potencializada em ambientes verdadeiramente inclusivos e diversos. Ainda mais pelo caráter transformador e experimental das tecnologias habilitadoras, como é o caso da inteligência artificial e do seu uso associado à programação de algoritmos.
Além disso, combater o viés da tecnologia nas organizações faz parte do cuidado com um capital que é, ao mesmo tempo, humano e econômico, pois visa o respeito às pessoas, sejam elas acionistas, colaboradores ou clientes.
Antes de nos aprofundarmos em formas de mitigar esses vieses, como o racismo algorítmico, vamos entender como ele acontece.
Como e por que há viés na tecnologia
Entre muitos de seus trabalhos, o especialista Tarcizio Silva mantém uma linha do tempo que cataloga o quão frequentemente meios digitais, mídias sociais e dispositivos baseados em IA reforçam o viés racista na sociedade.
O ponto de partida desse acervo é o ano de 2010, quando um recurso para evitar selfies de olhos fechados, presente em câmeras da Nikon, se confundia com olhos de pessoas asiáticas. Passa por outros casos emblemáticos e que causaram revolta, como um ocorrido em 2015, quando pessoas negras foram desumanizadas e tagueadas como “gorilas” por uma das ferramentas do Google.
Isso chega até os dias atuais, em 2022, com denúncias como a que o iPhone não permite registro do rosto de pessoas com tatuagens tradicionais maori; ou a de uma startup que desenvolveu um software que modifica sotaques diversos para soarem dentro do padrão branco americano; ou, ainda, o sistema de reconhecimento facial de um aplicativo bancário que não reconheceu o rosto de um correntista negro.
Além de vasta, essa documentação reforça que entender os vieses contidos em sistemas algorítmicos não se resume a analisar a estrutura de códigos, tampouco a considerar tais casos como isolados ou de usos específicos.
“Envolve identificar quais comportamentos são normalizados, quais dados aceitam, quais tipos de erro são ou não considerados entre entradas e saídas do sistema, seu potencial de transparência ou de opacidade e para quais presenças ou ausências os sistemas são implementados. Enfim, analisar as redes de relações político-raciais da tecnologia”, enumera Silva.
Outra pesquisadora que aguça o olhar para a inteligência artificial é Nina da Hora, que se define como cientista em construção, hacker antirracista e decolonial. Na sua visão, “o viés racial vem de nós, que alimentamos o algoritmo. Não nasceu com o algoritmo, nasceu com a nossa sociedade. É muito difícil identificar em qual etapa se iniciam os resultados negativos”.
Essa afirmação foi dada em um episódio do podcast da jornalista Malu Gaspar. Em outro trecho, ela explica, por meio da diferenciação entre o reconhecimento de imagens e o reconhecimento facial, como o racismo algorítmico acontece.
Em suas palavras, o reconhecimento de imagens usa algoritmos, muitas vezes vindos da aprendizagem de máquinas (machine learning), treinados para reconhecer pontos importantes da imagem de um rosto, ou de um objeto.
A partir disso, há possíveis interpretações e tomadas de decisão. É o caso das redes sociais, que têm bases de imagens pré-coletadas e organizadas, como o Facebook, que automaticamente marca pessoas em uma foto.
Já o reconhecimento facial, geralmente ocorre em tempo real e é uma tecnologia focada no rosto. Começa pelos olhos e vai descendo, procurando marcas expressivas para identificar uma pessoa. Também usa o treinamento de algoritmos, em que há uma base de imagens por meio da qual fará o match, dizendo se a pessoa corresponde ou não com quem é mostrado em uma imagem coletada, por exemplo, por uma câmera de segurança. A intervenção humana acontece em ambas as tecnologias e ao longo de todo o processo de coleta e análise.
Para Pedro Guilherme Ferreira, o reconhecimento facial tende a ser mais preciso justamente por focar na geometria do rosto. “Essa tecnologia considera mais as características dos rostos e menos as características sociais. Já o reconhecimento de imagem, na maioria das vezes, é feito por associação via aprendizado não supervisionado e, portanto, pode conter mais vieses, como, por exemplo, o racismo”, afirma o diretor.
A precisão dessas tecnologias torna-se falha devido a múltiplos fatores. O viés pode estar tanto na maneira que é feita a captura, quanto na construção da lógica que embasa a análise da imagem coletada.
Sem variedade suficiente de rostos e fenótipos, um modelo preditivo aplicado à segurança pública pode identificar de forma errada uma marca de expressão e apontar um inocente como culpado, por exemplo. Mas não só as bases de imagens usadas no combate a crimes fazem associações negativas a características de grupos minorizados, como pessoas negras, latinas, asiáticas e não-brancas.
No reconhecimento de imagens em buscadores de plataformas digitais – amplamente usados por serviços e produtos, o cabelo de pessoas negras, ou que fujam do que é considerado padrão, por exemplo, é identificado com teor pejorativo e associado a termos negativos, lembra Da Hora. Todos esses estigmas sociais contribuem para que a identificação de pessoas brancas seja mais eficiente, precisa e com viés mais positivo.
O documentário Coded Bias, da cineasta Shalini Katayya, traz outras dimensões ao problema, com camadas de experimentação. A pesquisadora Joy Buolamwini, PhD e criadora dos projetos Coded Gaze e Algorithmic Justice League, narra como um trabalho de arte usando visão computacional, no laboratório do MIT (Massachusetts Institute of Technology), a fez mudar de direção e estudar a fundo diversas plataformas de reconhecimento facial.
Sua ideia inicial era criar um espelho que trabalhasse autoestima e inspiração com o efeito de sobrepor o rosto de pessoas comuns ao de personalidades, como a tenista Serena Williams. No entanto, os testes com o software usado para viabilizar o projeto não funcionaram. Nesse momento, o documentário mostra cenas muito parecidas com as que descrevemos até aqui.
Ao se posicionar diante da máquina, o reconhecimento facial de Buolamwini simplesmente não acontece. A leitura só é possível quando, por curiosidade, ela resolve vestir a peça de uma das fantasias do laboratório: uma máscara completamente branca. Ao vesti-la, o programa reconhece seu rosto, mas, ao retirá-la, sua verdadeira feição não é detectada.
Quando analisou os parâmetros da tecnologia, constatou que o banco de dados tinha como fonte, majoritariamente, imagens de pessoas de pele branca. Com isso, o sistema não aprendeu a reconhecer rostos como o dela, de uma mulher negra.
A pesquisadora decidiu, então, escalar sua investigação a outras plataformas e constatou que algoritmos de gigantes como Microsoft, IBM e Google performavam melhor com rostos masculinos, em comparação aos femininos. Assim como tinham resultados superiores ao detectar rostos com peles de tom mais claro, em comparação a peles em tons mais escuros.
As big techs foram acionadas e aprimoraram seus sistemas para corrigir as falhas apontadas. O cerne da questão, contudo, que é o viés na tecnologia, está longe de uma solução.
“A IA é voltada para o futuro, mas é baseada em dados e eles são reflexo da nossa história. Portanto, o passado está marcado em nossos algoritmos”, afirma Buolamwini.
Em outra passagem de Coded Bias, Cathy O’Neal, PhD e autora do livro Weapons of Math Distruction, reforça a preocupação de como a IA pode afetar ainda mais nossas vidas, caso algoritmos imprecisos continuem sendo inseridos em nosso cotidiano. Mesmo carregados de leituras enviesadas do passado, eles já são empregados para responder indagações como “esta pessoa vai pagar por este empréstimo?”, ou “ela será demitida do trabalho?”.
Com a participação de inúmeras outras especialistas, o documentário aponta que a aprendizagem de máquina ainda não é totalmente compreendida e seu desenvolvimento continua restrito a um grupo hegemônico e pouco diverso de pessoas, já que exige alto grau de conhecimento técnico.
Tradicionalmente, a construção de um código se assemelha a uma lista de instruções, na qual o programador dita as regras, e a máquina as executa.
Com a evolução das tecnologias de inteligência artificial, somada à disseminação das mídias sociais e à produção massiva de dados na rede, as máquinas passaram a ser capazes de aprender a partir da interpretação e decodificação de uma massa de informações, conjuntos de dados, ou “data sets”.
Então o algoritmo ganha autonomia, e acaba por possuir uma “margem de manobra” que está fora do controle dos desenvolvedores. Por tudo isso, a reflexão é urgente e há muitas formas de atuar contra vieses na tecnologia.
Como superar o racismo algorítmico
Cada vez mais, o mundo da tecnologia fica indissociável do contexto social. Seja em tarefas corriqueiras, como dar comandos de voz a um dispositivo, ou no uso dos famosos filtros de redes como Snapchat e Instagram, ou ainda, de forma um pouco mais velada, em sistemas que determinam se você vai ou não ter acesso a uma vaga em uma universidade e a crédito bancário. Com essa crescente influência em todo tipo de tomada de decisão, é preciso entender como a esfera social é afetada.
O racismo algorítmico está dentro da questão do viés na tecnologia e sua solução é tão complexa quanto aprender sobre o funcionamento de tecnologias emergentes, em especial a IA.
Conviver com a diversidade e estar sempre vigilante são essenciais na visão de Pedro Ferreira. “Se você tem um time heterogêneo, já é um bom caminho. Tenha também muito cuidado com os dados que está utilizando. Dados viciados provavelmente vão gerar algoritmos viciados. Por fim, é muito importante considerar o problema da causalidade evitando relações espúrias. Novas áreas dentro de IA, como os modelos causais, começam a lançar luz à solução desses problemas”, afirma o diretor da EloGroup.
Gabriel Leví expande a perspectiva para além do desenvolvimento técnico. “É também uma questão de como as pessoas conseguem ter acesso às oportunidades para demonstrar seu valor”, afirma. O especialista em D&I traz alguns exemplos de ações, das mais complexas às mais simples:
Uma gigante dos cosméticos fez uma parceria com uma escola especializada em desenvolvedores para formar seu corpo tecnológico dentro de um recorte de diversidade. No final do processo, de 9 meses, uma parte dos profissionais foi contratada. Os demais participaram de uma feira e foram alocados em vagas de tecnologia de outras empresas.
Ações menores em processos seletivos podem girar em torno de mentorias para pessoas de grupos minorizados. Nesse caso, esses colaboradores passam por 2 ou 3 meses de formação antes de concorrer a parte dos postos de trabalho. Há ainda a possibilidade de reservar uma porcentagem das vagas, digamos 50%, para uma parcela específica de concorrentes.
Mesmo que crucial, a porta de entrada não é o principal ponto de atenção para as empresas. É fundamental criar condições para que essas pessoas, dentro de suas diversidades, sejam as futuras tomadoras de decisão. “É dessa forma que elas poderão impactar, por exemplo, na lógica por trás de um algoritmo.
É preciso ocupar posições de poder. Estabelecer uma régua de competências ajuda a entender qual é o próximo passo, quais são as habilidades necessárias para que aquele grupo de pessoas chegue lá. Além disso, é preciso fornecer todo o apoio para que as pessoas consigam se desenvolver”, complementa Leví.
A conclusão é que não existe um passo a passo exato, ou uma lista de ações definitivas. Muitas vezes, o viés no comportamento ou no julgamento resulta de processos cognitivos sutis e ocorre em um nível abaixo da percepção consciente de uma pessoa. É o que ensina Janaína Gama, consultora sênior de D&I na Mais Diversidade. Quer dizer que tomar decisões de forma inconsciente é uma tendência humana e, naturalmente, impacta as empresas.
“A gente categoriza a realidade em um entendimento próprio. Memorizamos o mundo a partir de rótulos e etiquetas”, disse Gama em uma formação promovida pela EloGroup+ Academy, iniciativa do programa de D&I da EloGroup. Ela destacou também a necessidade de se responsabilizar e ter uma postura firme. “Não se pode usar o viés inconsciente como justificativa para preconceitos, racismo e homofobia. É preciso assumir um compromisso com a diversidade”, completa.
Devido a essa faceta “sutil”, ainda há quem negue a existência do racismo, o que por si só é uma enorme barreira para superá-lo. Contudo, ele existe e está na deslegitimação de conhecimentos e no bloqueio a liberdades estéticas e culturais de grupos sociais. Tarcizio Silva recorre ao conceito de “microagressões” para chamar a atenção à quantidade soterradora de agressões que uma pessoa negra enfrenta dia a dia. O termo foi cunhado pelo psiquiatra Chester Pierce, entre as décadas 1960 e 70, e se refere não à intensidade, mas à grande incidência das ofensas.
“Quando uma cidadã negra, na interação cotidiana com mídias sociais e sistemas digitais precisa enfrentar problemas ligados ao racismo, como escores de crédito injustos, precificação diferencial de serviços devido à sua localização, ou filtros que distorcem selfies, temos violências constantes que devem ser entendidas e combatidas”, afirma o pesquisador.
Nesse sentido, o combate pode se centrar no que Silva chama de “dupla opacidade”, ou o modo pelo qual grupos hegemônicos buscam tanto apresentar a falsa ideia de neutralidade na tecnologia, quanto se esforçam no entrave ao debate sobre graves violações, como o racismo e a supremacia branca.
“O uso irresponsável de bases de dados supostamente naturais para treinamento, sem filtragem ou curadoria plena, promove o que há de pior na sociedade ainda na coleta de dados. E as camadas de opacidade na produção de modelos, implementação e ajustes são defendidas por grandes empresas, em termos de custo-benefício e segredo de negócio”, exemplifica Silva.
Leví recorre a uma frase do jurista e filósofo Silvio de Almeida para explicar como o racismo está enraizado na sociedade. “Ele diz: ‘o racismo se dá com as coisas acontecendo em sua normalidade’. As pessoas têm a falsa ideia de que o racismo foge à regra, mas ele é um status quo. Pensar em ações muito específicas para cada tipo de grupo é a grande sacada da diversidade. Ao desenvolver um produto, um aplicativo, uma formação, é preciso entender quem são as pessoas, o que elas querem ouvir e o que têm a dizer”, conclui.
Em nível organizacional, é preciso construir uma cultura corporativa aberta, capaz de trabalhar o senso de responsabilidade em quem desenvolve e utiliza assets digitais. A liderança inclusiva começa pela consciência em relação aos nossos próprios vieses. É preciso um amplo entendimento de que existem pessoas diversas e que nem todos os grupos sociais estão realmente incluídos no mercado.
As ações afirmativas, a médio e longo prazo, devem ser capazes de levar a diversidade para as camadas mais estratégicas da organização, influenciando mais tomadas de decisão, diversificando fontes de informação e promovendo momentos para que todos compartilhem suas histórias. Essa direção leva à criação de um ambiente corporativo em que haja segurança psicológica e no qual todos possam contribuir com alta eficiência e criatividade.
