No mês de agosto a Apple anunciou um recurso que permitirá processar imagens no celular antes de serem enviadas para sua nuvem, verificando se essas fotos correspondem a materiais sexualmente explícitos, relacionados a menores de idade, ou notificar os pais quando seus filhos recebem ou enviam conteúdo pornográfico.
O propósito da medida de fato é altamente positivo, porém lembro que na descrição do software, a Apple argumentou que a mudança, que implica em uma considerável invasão, tem como propósito proteger a privacidade, porém que a Apple não adquire nenhuma informação sobre imagens que correspondam a materiais que reflitam abuso sexual de menores, que não pode acessar os metadados ou derivados visuais de imagens correspondentes até que um certo limite de correspondência seja excedido, que o risco de falsos positivos seja extremamente baixo (o que só a pratica dirá), que todos os relatórios sejam revisados manualmente (com que velocidade), que os usuários não possam acessar ou visualizar o banco de dados de imagens, e que os usuários não podem identificar quais imagens foram marcadas como abuso sexual de menores pelo sistema.
Vejamos, o inescrupuloso, hodierno, asqueroso e escroto, abuso sexual de menores é um problema gravíssimo, e que foi catalisado pelos recursos e facilidades propiciados pela internet nos últimos anos que, agravado pela facilidade de circulação de materiais gráficos gerados pela popularização da internet, é preocupante. De fato, sistemas baseados no hashing de imagens semelhantes às descritas pela Apple existem em outras empresas para evitar, tanto quanto possível, a criação de repositórios desses materiais, e são usados por algum tempo pela Apple e Google e outras empresas para detectar seu envio via e-mail. Porém, a implementação de um sistema semelhante de imagens no próprio celular envolve aplicá-lo a materiais que não foram enviados, e enquanto a posse de materiais desse tipo também corresponde a um tipo criminoso que deve ser processado, entramos em um complexo e, muito possivelmente, sem retorno terreno, de difícil separação do joio do trigo, e com implicações pra lá de arriscadas.
Uma vez que esse sistema esteja disponível, as autoridades dos países podem encontrar motivos legais para solicitar seu uso por outras razões.
Na Inglaterra só como exemplo, um sistema semelhante desenvolvido anos atrás para provedores de serviços de internet monitorarem a disseminação desses materiais também foi usado para detectar relógios falsificados, o que alguns aqui no camelô chamariam de genéricos, ou cópias autenticas (a criatividade comercial não tem limites rs), logo qual seria o limite para o uso desse tipo de sistema, visto que inteligência artificial desenvolvida para o reconhecimento de imagem tudo pode? Detectar armas? Detectar procurados pela polícia em fotos de arquivos? Qual o limite entre o interesse legítimo e a invasão do cidadão?
Como bem destacou a Electronic Froutier Foundation, destacado em artigo do Enrique Dans, “estamos diante de um sistema backdoor desenvolvido especificamente para digitalização de materiais no celular (serve também para outros dispositivos) do usuário, e logo diante de algo inaceitável. Um backdoor é um backdoor, e as garantias que uma empresa pode dar sobre seu uso estão sempre condicionadas ao cumprimento da legislação que um país quer usar em um determinado momento. Hoje eles estão assistindo se você tem materiais que refletem abuso sexual de menores, amanhã eles podem estar assistindo que você não tem mais nada que incomode o governo do dia. Adicionar a um sistema uma capacidade de digitalizar o dispositivo do usuário é quebrar a criptografia de ponta a ponta, e é profundamente desaconselhável de qualquer ponto de vista, mesmo que o que se pretende proteger seja algo sobre o qual, em princípio, todos nós poderíamos concordar razoavelmente.”
O risco sempre está na aceitação da tese em que os fins podem justificar os meios? Ë claro que não pois os meios sempre estarão carregados de dose ideológica e proposital do intérprete. E logo não devemos e não podemos, desenvolver um sistema que nos permita monitorar tudo o que temos em nossos dispositivos.
Quando desvirtuamos o uso de ferramentas, de forma indiscriminada corremos o risco de perpetrar injustiças e eu nem estou falando ainda dos erros de análises de máquinas.
Como uma foto pode estabelecer a idade de quem está nela? Com qual precisão? Use como exemplo os inúmeros travamentos de publicações do Face com entendimento equivocado de conteúdo?
Certamente a Apple pode estar conseguindo se mover, no que seria decididamente um movimento ruim, de ser percebida como a empresa de privacidade e “o que acontece no seu iPhone permanece no seu iPhone”, para se tornar a empresa que digitaliza cada uma de suas fotos “apenas no caso” de você ser um pedófilo, com o problema adicional de que, além disso, esse sistema poderia ser abusado por qualquer governo para qualquer propósito imaginável.
O fato é que com essa inciativa a Apple será vista como garantidora da privacidade ou como invasora da privacidade?
Os riscos dessa ferramenta que funciona automaticamente são sem duvida inúmeros, que começam desde estabelecer o que seria abuso infantil?
A nova ferramenta de segurança, que chegará com versões do iOS 15, já foi batizada de neuralHash, e incluirá várias salvaguardas para proteger a privacidade dos usuários.
No primeiro momento, a verificação será realizada apenas em contas de usuários dos EUA. O software, completamente automatizado, não terá acesso direto ao conteúdo das imagens que os usuários carregam para o iCloud, mas terá acesso a uma “impressão digital” (hash) delas.
Esta impressão digital, que é basicamente uma série de caracteres, é calculada com base nas informações presentes na imagem e é posteriormente comparada comum banco de dados de mais de 200.000 impressões digitais de imagens pré-eleitas pelo Centro Nacional para Crianças Perdidas ou Exploradas (NCMEC), a agência americana que é responsável por restringir a distribuição de imagens sexualmente explícitas de menores na rede.
O sistema projetado pela Apple é avançado o suficiente para também detectar semelhanças em imagens que foram ligeiramente modificadas (por exemplo, cortadas). A detecção ocorrerá no próprio telefone do usuário antes de carregar a imagem para o serviço iCloud. Se for detectada uma foto, que pode coincidir com as que o NCMEC coletou e marcou como uma imagem com conteúdo sexualmente explícito com menores, um registro associado à conta do usuário será gerado.
Se uma conta de usuário exceder um limite de registro (que a Apple não especificou), a empresa verificará manualmente o conteúdo das imagens no iCloud e alertará o NCMEC e as autoridades se eventualmente descobrir conteúdo sexual explícito com menores. Nesse ponto as regras ainda não estão claras quanto ao número e o caráter desse registro.
Segundo a empresa, “O limiar é definido para fornecer um nível extremamente alto de precisão e a possibilidade de marcar incorretamente uma determinada conta é de um em um bilhão”.
É bom lembrar alguns casos que já ocorrem com outros programas automatizados para detectar imagens de conteúdo sexualmente explícito com menores, através de sistemas de armazenamento em nuvem, como o Google Drive ou o Dropbox. Lembro que a Apple também já realiza essas verificações em arquivos armazenados em seus servidores, porém sua implementação no próprio iPhone abre um precedente no mínimo preocupante.
“Quem controla a lista de impressões digitais pode procurar qualquer conteúdo que quiser no seu telefone, e você realmente não tem como saber o que está nessa lista porque é invisível para você”, explica MatthewGreen, professor de segurança e criptografia da Universidade Johns Hopkins, em reportagem do jornal Espanhol Expression.
Segundo o professor, o receio é que, no futuro, um governo possa decidir usar essa ferramenta já implementada para buscar, por exemplo, imagens de uma faixa em um protesto ou outro conteúdo que coloque em risco os cidadãos, especialmente em países com regimes autoritários.
Lembro também que há maneiras de enganar os algoritmos que criam essas impressões digitais únicas de cada imagem, algo que poderia ser também usado para gerar falsos positivos com fotos aparentemente inocentes e, assim, dar à polícia uma desculpa para acessar as informações presentes em um telefone.
Nos últimos anos, várias agências de segurança e governos pediram à Apple que criasse backdoors que lhes permitissem acessar mensagens e imagens enviadas ou armazenadas em telefones para ajudar nas investigações de abuso infantil ou terrorismo, sendo que até agora a Apple tem recusado, com o argumento de que seria um backdoor, e que também poderia ser usado por governos autoritários para violar os direitos das pessoas e que, uma vez criados, tais portões também poderiam cair nas mãos de cibercriminosos.
O fato é que NeuralHash é, uma solução de compromisso que permite detectar imagens explícitas de abuso infantil sem que haja um backdoor que reduza a segurança ou o nível geral de privacidade da plataforma.
Além desta ferramenta, a Apple incluirá no iOS15 novos sistemas de proteção nas contas de menores para impedir a troca de fotos sexualmente explícitas, reduzindo o risco de nudes entre adolescentes e crianças, um fato que assusta a todos os pais.
Na prática se um usuário menor receber uma foto com conteúdo sexual, ele aparecerá borrado na tela e a criança será avisada de que a foto tem conteúdo que pode ser prejudicial.
Se ele ainda decidir vê-lo, vai conseguir, mas um aviso será enviado para os pais. Várias telas de confirmação explicarão por que o envio de tais imagens pode ser prejudicial e o que é considerado uma imagem sexualmente explícita (imagens mostrando partes do corpo que normalmente são cobertas com um maiô). O que no verão brasileiro deve implicar em milhões de avisos.
Proteções semelhantes estão disponíveis se uma criança tentar enviar fotos sexualmente explícitas. A criança será avisada antes da foto ser enviada, e os pais receberão uma mensagem se a criança optar por enviá-la.
O sistema de detecção usa técnicas de aprendizado de máquina no dispositivo para analisar anexos de imagem e determinar se uma foto é sexualmente explícita. O recurso foi projetado para que a Apple não tenha acesso a mensagens (toda a verificação é feita no próprio dispositivo) e só funcionará com o próprio aplicativo de mensagens da Apple.
Muitas questões ainda não estão respondidas, como por exemplo com quem fica essas imagens? Onde elas ficam separadas? Como identificar a idade do “menor”? Qual o critério para dizer o que tem e não tem conteúdo sexual em uma foto na piscina da família de biquini?
É um ponto de partida sim, mas em um terreno pra lá de arenoso.