O preconceito da cor da pele no Instagram

Sarah é uma empresária da indústria da restauração baseada em Berlim (o seu nome e o nome da respetiva cidade foram alterados). A empresa que Sarah criou ajuda as mulheres a sentirem-se confortáveis com a quantidade de comida que ingerem e defende uma “alimentação intuitiva”. Como muitos proprietários de pequenas empresas, Sarah baseia-se nas redes sociais para atrair clientes. O Instagram, a segunda maior rede social da Europa, depois do Facebook, é um canal de marketing sem o qual não poderia sobreviver, afirmou.

Mas no Instagram, que está fortemente orientado para fotografias e vídeos, Sarah sentiu que as suas fotografias não estavam a alcançar os seus 53 mil seguidores a menos que estivesse de fato de banho. Na verdade, em quatro das suas sete publicações mais gostadas dos últimos meses, Sarah encontra-se em biquíni. Ely Killeuse, uma autora literária com 132 mil seguidores no Instagram que aceitou falar abertamente, afirmou que “quase todas” as suas publicações mais gostadas são aquelas onde se apresenta de roupa interior ou fato de banho.

Isto poderá dever-se ao facto de simplesmente os seus públicos-alvo preferirem ver Sarah e Ely de fato de banho. No entanto, no início de 2016, o Instagram ordenou o feed do utilizador de forma a que as fotografias dos utilizadores “dos quais mais gostamos apareçam sempre no topo do feed”. Se as restantes publicações de Sarah e Ely são menos populares, talvez se deva ao facto de não estarem a ser apresentadas tantas vezes aos seus seguidores.

As fotografias que são apresentadas não dependem apenas de uma questão de gosto. Os empresários que se baseiam no Instagram para atrair clientes devem adotar as normas que o serviço incentiva para alcançarem os seus clientes. Mesmo que estas normas não reflitam os valores dos seus negócios ou os valores dos seus clientes e público principal.

2400 fotografias analisadas

Para compreender que fotografias o Instagram priorizou, a European Data Journalism Network e a AlgorithmWatch pediram a 26 voluntários que instalassem um suplemento de navegador e seguissem uma seleção de criadores de conteúdo profissionais. Selecionámos 37 profissionais de 12 países (14 deles homens) que utilizam o Instagram para publicitar marcas ou adquirir novos clientes para os seus negócios, sobretudo na indústria da restauração, de viagens, de fitness ou de beleza. 

Este suplemento abre automaticamente a página principal do Instagram em intervalos regulares e regista quais as publicações que aparecem no topo dos feeds dos voluntários, oferecendo uma visão geral do que a plataforma considera mais relevante para cada voluntário.

Se o Instagram não mexesse no algoritmo, a diversidade das publicações apresentada no feed dos utilizadores deveria corresponder à diversidade das publicações dos criadores de conteúdo que seguem. Se o Instagram personalizasse o feed de cada utilizador consoante as suas preferências, a diversidade das publicações apresentada nos seus feeds deveria ser adaptada de forma diferente para cada utilizador. Isto é o oposto do que verificámos.

Entre fevereiro e maio, foram analisadas 1737 publicações dos criadores de conteúdo que monitorizámos, num total de 2400 fotografias. Destas publicações, 362 (ou 21%) foram reconhecidas por um programa informático como contendo fotografias de mulheres em biquíni ou roupa interior ou homens sem camisola. No entanto, nos feeds dos nossos voluntários, as publicações com tais fotografias representavam 30% de todas as publicações apresentadas para as mesmas contas (algumas publicações foram apresentadas mais de uma vez).

As publicações que continham mulheres de roupa interior ou biquíni tinham 54% mais probabilidade de aparecer no feed dos nossos voluntários. As publicações que continham homens sem camisola tinham 28% mais probabilidade de ser apresentadas. Por sua vez, as publicações sobre comida ou paisagens tinham 60% menos probabilidade de ser apresentadas no feed.

Estes resultados, que podem ser consultados mais pormenorizadamente numa página dedicada, passaram o testes padrão de significância estatística.

A aguardar auditoria

A tendência para a nudez pode não aplicar-se a todos os utilizadores do Instagram. Embora tenha sido consistente e aparente para a maioria dos voluntários, uma pequena parte teve acesso a publicações que refletiam melhor a diversidade publicada pelos criadores de conteúdo. É provável que o algoritmo do Instagram favoreça a nudez em geral, mas tal personalização, ou outros fatores, limita este efeito a alguns utilizadores.

Os nossos resultados ficam aquém de uma auditoria abrangente do algoritmo do feed do Instagram. Apenas documentam o que aconteceu no feed dos nossos voluntários. (Pode ajudar-nos a melhorar os resultados ao instalar o suplemento. Publicaremos atualizações assim que tivermos mais dados.) Sem acesso aos dados internos e aos servidores de produção do Facebook, será impossível tirar conclusões definitivas.

O Facebook não respondeu diretamente às nossas questões, mas submeteu uma declaração: “Esta investigação está incorreta a vários níveis e mostra um desconhecimento do funcionamento do Instagram. Ordenamos as publicações no feed com base no conteúdo e nas contas nas quais as pessoas mostram interesse, não em fatores arbitrários como a presença de roupa de banho.”

Contudo, temos razões para acreditar que as nossas conclusões representam a forma como o Instagram funciona no geral.

Maximizar a interação

Numa patente publicada em 2015, os engenheiros do Facebook, a empresa que dirige o Instagram, explicaram como o feed pode dar prioridade a certas fotografias. Quando um utilizador publica uma fotografia, esta é automaticamente analisada, segundo a patente. É atribuída às fotografias uma “métrica de interação”, que é utilizada para decidir se a fotografia será ou não apresentada no feed de utilizador.

A métrica de interação baseia-se inteiramente no comportamento passado do utilizador. Se um utilizador gostou de uma marca específica e uma fotografia mostra um produto da mesma marca, a métrica de interação aumenta. No entanto, a métrica de interação também pode ser processada com base no comportamento passado de todos os utilizadores do serviço. A patente afirma especificamente que o género, a etnia e o "estado despido" das pessoas numa fotografia poderiam ser utilizados para calcular a métrica de interação.

Embora o Instagram afirme que o feed é organizado de acordo com o que um determinado utilizador "mais interessa", a patente da empresa explica que este poderia realmente ser ordenado de acordo com o que pensa que todos os utilizadores gostam. Quer os utilizadores vejam ou não as publicações das contas que seguem depende não só do seu comportamento passado, como também do que o Instagram acredita que gere mais interações para outros utilizadores da plataforma.

Correlações falaciosas

O Facebook analisa automaticamente as fotografias através de um software, conhecido como visão computacional, antes do seu algoritmo decidir quais as fotografias a mostrar no feed de um utilizador. Este software extrai inferências automáticas a partir de um conjunto de dados de formação, feito de milhares de imagens anotadas manualmente. As suas limitações podem ter impacto na forma como o Instagram dá prioridade às fotografias nos feeds.

Há anos que os cientistas informáticos sabem que tais sistemas replicam e amplificam as tendenciosidades dos seus dados de formação, levando a correlações adulteradas ou falaciosas. Por exemplo, um programa encarregado de identificar lobos e cães baseado em imagens dos caninos encontrados online não reconhecerá os animais no sentido humano da palavra. Em vez disso, atribuirá o rótulo de "lobo" a qualquer animal sobre um fundo com neve.

Os dados de formação para a visão informática são normalmente produzidos por trabalhadores mal remunerados com um incentivo para trabalharem rapidamente e fornecerem resultados que correspondam às expectativas dos seus empregadores. Isto leva-os a adotar indiferentemente as categorias que lhes são oferecidas e a ignorar as subtilezas que uma fotografia pode conter, escreveu Agathe Balayn, doutorada da Universidade Técnica de Delft, sobre o tema da parcialidade nos sistemas automatizados.

As consequências podem ser graves. Em dezembro, um artista brasileiro tentou publicitar uma das suas publicações do Instagram. O pedido foi indeferido com base no argumento de que a publicação continha conteúdo violento. Apenas retratava um rapaz e o piloto de Fórmula 1 David Hamilton. Ambos de pele negra. Em abril, uma professora de ioga viu o seu anúncio rejeitado com o fundamento de que no geral a fotografia mostrava profanidades, apesar de ela estar apenas a fazer a pose lateral de corvo. É asiático-americana.

(Na nossa configuração experimental, também utilizámos um sistema de visão computacional, o Google Vision. Apesar dos resultados serem significativos – a etiqueta “beleza”, por exemplo, só foi devolvida para as mulheres – é muito provável que os seus enviesamentos sejam semelhantes ao motor de visão computacional do Facebook, já que foi em parte criado pelas mesmas pessoas).

Uma linha ténue

As diretrizes do Instagram estabelecem que a nudez “não é permitida” no serviço, mas favorece as publicações que mostram pele. A diferença subtil entre o que é encorajado e o que é proibido é decidida por algoritmos de visão computacional não auditados, e provavelmente tendenciosos. Cada vez que publicam uma fotografia, os criadores de conteúdo têm de traçar esta linha muito ténue entre revelar o suficiente para chegar aos seus seguidores, mas não revelar tanto que faça com que sejam expulsos da plataforma.

Um inquérito realizado em 2019 a 128 utilizadores do Instagram pela revista norte-americana Salty revelou que a remoção abusiva de conteúdo era comum. É impossível dizer até que ponto tais ocorrências são comuns e se as pessoas de cor e as mulheres são afetadas de forma desproporcionada, enquanto os algoritmos do Instagram não forem auditados. 

No entanto, uma análise de 238 patentes registadas pelo Facebook contendo a frase “visão computacional” mostrou que, das 340 pessoas listadas como inventoras, apenas 27 eram do sexo feminino. Os ambientes dominados por homens conduzem geralmente a resultados prejudiciais para as mulheres. Os cintos de segurança dos automóveis, por exemplo, só são testados em manequins masculinos, o que leva a taxas mais elevadas de lesões para as mulheres. A nossa pesquisa mostra que os algoritmos do Facebook poderiam seguir este padrão.

Medo do “shadow-ban”

Sarah e outros empresários que focam grande parte do seu negócio no Instagram ficaram aterrorizados sobre o facto de falarem com a imprensa. A maioria dos criadores de conteúdo profissionais do Instagram temem retaliações do Facebook, sob a forma de eliminação de contas ou do “shadow-ban” (uma prática em que as publicações de um utilizador são mostradas a nenhum ou a muito poucos dos seus seguidores, sem o conhecimento do utilizador) – uma sentença de morte para o seu negócio.

Uma jovem empresária com cerca de 70 000 seguidores, que disse que o Instagram era “muito importante” para o seu negócio, declarou especificamente à AlgorithmWatch que não queria ser identificada uma vez que teme o “shadow-ban”. Ely Killeuse, que não se importou de revelar a sua identidade, disse que ter outra fonte de rendimento era a “condição número um” para ela. Depender demasiado do Instagram significaria perder a sua liberdade e a sua sanidade, acrescentou ela. 

O Regulamento Geral sobre a Proteção de Dados (RGPD), que entrou em vigor em 2018, e o Regulamento relativo às Plataformas para Empresas (P2B), que será aplicável a partir de 12 de julho de 2020, já oferecem muitas garantias aos utilizadores e profissionais. Em particular, o RGPD afirma que os utilizadores têm o “direito à explicação” relativamente às decisões automatizadas e o regulamento P2B obriga os serviços de intermediação online a divulgar os “principais parâmetros que determinam a ordenação [algorítmica]”.

Segundo Petra de Sutter, presidente da Comissão do Mercado Interno e da Proteção dos Consumidores no Parlamento Europeu, esta nova medida não deve obrigar as plataformas a revelar o funcionamento interno dos seus algoritmos. Impedir o Instagram de ordenar o feed dos seus utilizadores não seria legalmente viável, escreveu num e-mail direcionado à AlgorithmWatch. Em vez disso, a transparência que o regulamento P2B trará deverá permitir decisões políticas bem informadas num momento posterior, acrescentou ela. Quanto aos receios de “shadow-ban”, Petra de Sutter considera-os excessivos. “Uma pergunta nunca trouxe retaliação”, escreveu ela. 

O P2B pode ser diferente, mas dois anos após a entrada em vigor do RGPD, vários peritos lamentam uma aplicação muito precoce. Um dos problemas é que a autoridade irlandesa de proteção de dados, responsável pela regulamentação da filial europeia do Facebook baseada em Dublin, parece ter muito pouco pessoal e “não parece compreender o RGPD”, disse um especialista em plataformas à AlgorithmWatch. Além disso, existe ainda o problema da falta de políticas. Nenhuma autoridade, a nível europeu ou dos Estados-Membros, tem o poder ou os instrumentos necessários para auditar qualquer uma das plataformas gigantes, incluindo o Instagram, deixando muitas das disposições do RGPD por aplicar.

Possível discriminação

Embora os nossos resultados mostrem que os criadores de conteúdo do sexo masculino e feminino são obrigados a mostrar a pele de forma semelhante se quiserem alcançar ao seu público-alvo, o efeito poderia ser maior para as mulheres e ser considerado uma forma de discriminação para com as empresárias. Contudo, embora a discriminação com base no género seja proibida pela Carta dos Direitos Fundamentais da União Europeia, não existem vias legais para um utilizador do Instagram instaurar um processo judicial. As especificidades do empreendedorismo nas redes sociais não são tidas em conta na legislação.

Miriam Kullmann, professora assistente na Universidade de Economia e Negócios de Viena, escreveu à AlgorithmWatch que a legislação europeia antidiscriminação afeta quase exclusivamente as relações laborais. Os trabalhadores independentes, tais como os profissionais por nós monitorizados, não estão protegidos.

Alguns grupos lutam, de facto, pelos direitos dos criadores independentes nas redes sociais. O IG Metall, o maior sindicato europeu, apoia uma ação coletiva de YouTubers, exigindo mais justiça e transparência à Google (proprietária do YouTube) quando um vídeo deixa de ser rentabilizado. Não planeiam estender o seu programa aos criadores de conteúdo no Instagram ou noutras plataformas.