No final de 2020, a rede social Twitter, sofreu diversas denuncias por parte dos seus usuários de que seu software privilegiava imagem de pessoas brancas.
Para provar isso um usuário publicou duas versões da mesma imagem, que constam fotos do senador norte-americano Mitch McConnell e o ex-presidente Barack Obama. As imagens na vertical contam com uma imagem de cada em cada ponta. Em ambas, a imagem de destaque selecionada foi a do McConnell, homem branco.
E como tudo nas redes sociais ganha velocidade supersônica, muitos usuários utilizaram suas contas para testar diferentes combinações de imagens na busca por respostas no fundo das imagens, no brilho, contraste.
Ninguém discute a importância do uso da tecnologia de reconhecimento facial para outras finalidades, como evitar o tráfico de pessoas ou reunir crianças desaparecidas com suas famílias, e ou identificação para operações bancárias, assinaturas digitais é interessante, porém a Amazon já deixou de oferecer temporariamente à polícia. Essa sequência de gestos de grandes players do mercado levou a Microsoft de Bill Gates a mesma decisão.
Em que pese a maturidade já apresentada dessa tecnologia, o reconhecimento facial enfrenta um dilema fundamental, pois por mais aperfeiçoada que esteja, não é suficiente para um uso discriminatório dela ou a perseguição de pessoas por atos e gestos políticos em governos pouco democráticos.
Voltando ao Twitter, recentemente a empresa promoveu um concurso durante uma conferência de segurança digital que acabou confirmando vieses que existiam em algoritmo de corte de imagens. Diga-se de passagem, essa funcionalidade já foi removida da plataforma
A ferramenta de corte inteligente, que foi lançada em 2018, existia com o genérico pretexto de melhorar a experiência do usuário. Faço aqui um intervalo para anotar que toda vez que leio essa expressão “para melhorar a experiência do usuário” em termos políticas de sites tenho calafrios.
Voltando a ferramenta, ela serve para decidir como o corte será feito, e para isso é utilizado o reconhecimento facial, que acaba destacando as partes mais ‘salientes’ das imagens. Porém, comprovou-se que a abordagem possui suas limitações, errando em uma quantidade pra lá de significativa, e muitas vezes chegando a identificar rostos onde não tem.
Logo, as regiões salientes são aquelas em que são mais prováveis que a pessoa olhe quando visualiza a imagem livremente, uma vez que no geral (sempre o perigo das generalizações probalísticas), as pessoas prestam mais atenção em rostos, textos, animais, mas também outros objetos e regiões de alto contraste”. Esses dados são usados para treinar redes neurais e outros algoritmos para predizer “o que as pessoas podem querer olhar”. Esse tipo de ferramenta é usado em muitos sites, para identificar desejos de consumo.
Através do sistema de redes neurais artificiais, se inspirando no sistema nervoso central, a máquina é capaz de aprender e reconhecer padrões. Contudo, recordamos que a inteligência artificial já registrou inúmeros problemas.
Mas afinal a ferramenta que era utilizada pelo Twitter é racista?
De forma alguma, porém se engana quem acredita que os dados representam uma verdade absoluta. Principalmente quando falamos de dados e inteligência artificial, que podem espelhar preconceitos dos próprios desenvolvedores, e esse caso da rede social é a maior prova disso.
Destacamos que o Machine Learning, ou “Aprendizado de Máquina”, é uma das áreas mais populares da IA. Ede forma simples, o computador aprende com a experiência a partir dos padrões de dados históricos. Todavia, eles podem ser racistas, misóginos ou discriminatórios. Assim, segue-se uma lógica de algoritmo que segue vieses ou com uma distorção sistemática.
Quase sempre, são uma resultante da construção de modelos sem conhecimento e sem a correção de possíveis equívocos ocultos, o que pode levar a resultados distorcidos, tendenciosos ou mesmo errados, reforçando estigmas sociais, econômicos e raciais, além de institucionalizá-los com o requinte de parecerem resultados científicos, já que são baseados em modelos matemáticos”, afirmam em seu artigo. É sempre bom lembrar da perigosa força da matemática, que muito pode ser utilizada para perpetuar equívocos valorativos sociais, onde o medo pode distorcer a opinião. Tente imaginar o resultado das pesquisas de opinião pública em tempos de ditadura, as pessoas falam o que acreditam ou o opinam diante de um temor reverencial?
Como muitos especialistas destacam, além dos dados históricos, a aprendizagem de máquina também pode contar com: viés de amostragem, onde a amostra analisada pelo algoritmo é incompleta ou não apresenta o ambiente executado; viés de preconceito, modelos treinados por dados influenciados por estereótipos ou fatores culturais; e o viés do observador, que traz preconceitos do próprio profissional de dados. Além do que nem todo modelo matemático está certo, quando despreza inúmeras variantes.
Com base nessas denuncias do ano passado a equipe de engenharia de software realizou um concurso, e na última semana divulgou o resultado da competição que pretendia identificar vieses no algoritmo que corta fotos na linha do tempo da rede social, e que sofria com denúncias de racismo.
O sistema servia para alinhar as imagens publicadas por usuários à linha do tempo, sem distorções. Para isso, adequava as imagens a uma mesma dimensão e tentava focar em alguma informação importante na imagem.
A competição promovida pelo Twitter, acabou confirmando as preocupações dos usuários. Sendo que o vencedor demonstrou que o algoritmo da plataforma favorecia a aparição de rostos “magros, jovens, de pele clara com textura suave, e com traços faciais estereotipicamente femininos”.
O vencedor, Bogdan Kulynych, um estudante da Escola Politécnica Federal de Lausanne, na Suíça, utilizou um programa de inteligência artificial que gerou uma variedade de rostos semelhantes, mas com distintas combinações de feminilidade, tom de pele e traços faciais. Ele aplicou essas imagens ao algoritmo do Twitter e averiguou as preferências da máquina.
Durante a competição, outros participantes demonstraram ainda outros efeitos nocivos do algoritmo de corte de imagem. Pesquisadores demonstraram que o preconceito não se limitava a filtros, mas também a emojis que apresentam pessoas de pele escura ou mesmo textos escritos em outros idiomas, como árabe.
O uso dessa tecnologia e as suas inúmeras formas de uso na esfera privada, podem e devem proporcionar conforto e facilidades aos seus usuários, tais como desbloquear dispositivos ou acesso a determinados espaços. Mas na esfera pública, pode ser, e de fato está sendo utilizado em muitos casos para o monitoramento e controle da população, de forma ultrajante para alguns usos, tudo feito sem quase nenhuma participação dos legisladores que pouco entendem ou acompanham o uso indiscriminado dessas novas tecnologias.
A regulação se torna requisito mínimo para o emprego dela, pois a tecnologia só deve avançar, inclusive com o registro das pessoas aliado ao banco de dados que os entes públicos já possuem, e com os padrões e estado de espírito identificado pelos traços faciais na medida que esse banco de imagens e a inteligência dele evoluem. Como vamos parar de usá-la para desbloquear nossos dispositivos, ou imaginar que a China vai pensar em abandonar seu uso quase onipresente dele é simplesmente absurdo. Os Estados sempre terão justificativas para ampliar seu uso, e em um futuro de políticas sensíveis a proteção das pessoas é fundamental regrar a captura e a guarda dessas imagens.
Lembro que cidades como São Francisco, e Somerville nos Estados Unidos, já produziram leis vetando o uso do reconhecimento facial para os departamentos de polícia e outras agências.
Esses programas são importantes para a segurança de todos, mas é fundamental regrar e acompanhar seu uso para se evitar exageros, ou figuras que no Direito penal chamávamos de tipo Lambrosiano, e assim os algoritmos constroem perfis criminosos com base no histórico, o que representa exclusivamente preconceito. Nessas horas é sempre bom lembrar da frase de Benjamin Franklin, que “aqueles que desistiram da liberdade essencial para comprar alguma segurança temporária não merecem liberdade ou segurança”.
Outras pesquisas já haviam demonstrado falhas nos diversos sistemas que estavam sendo usados como o Rekognition, serviço de reconhecimento facial da empresa da Amazon(ela já suspendeu seu uso). Para mostrar as falhas em 2018, um estudo da União Americana de Liberdades Civis (ACLU) identificou 28 congressistas americanos como procurados pela polícia do país, o que nos leva a imaginar quantos seriam os congressistas brasileiros identificados se o mesmo estudo fosse feito aqui no Brasil.
Esperamos que o regramento evolua na proporcionalidade dessas ferramentas, pois a cidadania digital se constrói com avanços que servem ao bem comum e não aos interesses do governante de plantão, onde o risco da fragilização das nossas garantias constitucionais, não podem estar na mira de corporações ou agentes públicos inescrupulosos.
(Artigo publicado anteriormente no site jusbrasil.com.br em 11 de Agosto de 2021.)