A medida vem em resposta aos crescentes pedidos de melhor representação em todos os níveis.
O The Wall Street Journal trouxe a informação de que Facebook e Instagram lançarão novos exames de seus principais algoritmos: “A recém-formada ‘equipe de equidade e inclusão’ no Instagram examinará como os usuários negros, hispânicos e outras minorias nos EUA são afetados pelos algoritmos da empresa, incluindo seus sistemas de aprendizado de máquina, e como esses efeitos se comparam aos usuários brancos, de acordo com pessoas familiarizadas com o assunto“. Equipe semelhante será estabelecida no Facebook.
A Auditoria de Direitos Civis do Facebook foi realizada ao longo de dois anos e publicada no início deste mês. O relatório apresentou várias preocupações com os sistemas da plataforma, incluindo o potencial tendencioso do algorítmico: “Como os algoritmos funcionam nos bastidores, algoritmos mal projetados, tendenciosos ou discriminatórios podem silenciosamente criar disparidades que passam despercebidas por muito tempo, a menos que existam sistemas para avaliá-las“.
Essa preocupação não é nova, visto que em 2016, por exemplo, um relatório da ProPublica mostrou que era possível usar a segmentação demográfica de “afinidades étnicas” do Facebook para eliminar grupos raciais específicos do seu alcance de anúncios, mostrando que os algoritmos da plataforma facilitaram processos discriminatórios – o que, inclusive, viola as leis federais dos EUA.
A capacidade de segmentar anúncios excluindo grupos raciais foi suspensa, mas isso mostrou ao Facebook que muitas opções de segmentação de anúncios como essa estavam sendo construídas pelos sistemas de machine learning (aprendizado automático da máquina), com base nas tendências de uso. Ou seja, essa opção foi mais resultado do algoritmo fornecendo opções com base nos dados que estavam disponíveis, do que uma ação deliberada do Facebook em possibilitar esse processo.
A empresa acabou removendo todas as opções de segmentação potencialmente discriminatórias para anúncios de habitação, emprego ou crédito no ano passado, mas mesmo assim especialistas alertam que qualquer sistema definido por algoritmo permanece suscetível a tendências inerentes, pois tem como base o conjunto de dados que recebeu.
A professora de direito do trabalho na Universidade de Washington, Pauline Kim, explica: “É no campo da possibilidade, dependendo de como o algoritmo é construído, que você pode veicular anúncios, inadvertidamente, para públicos tendenciosos“. Isso ocorre porque o sistema está lendo os dados à medida que são inseridos.
Exemplo: se sua empresa contrata mais pessoas brancas, há uma chance de que um algoritmo, que deseja exibir seus anúncios de vagas para candidatos, apresente seus anúncios de vagas apenas para usuários brancos, com base nos dados disponíveis. A preocupação, em sua essência, é que qualquer algoritmo baseado em dados do mundo real sempre irá refletir vieses do mundo atual, e o Facebook não poderá detectá-lo em seus processos sem realizar um exame completo de seus sistemas.
Esse foi o foco principal da recente Auditoria de Direitos Civis, e espera-se que a medida ajude a melhorar a igualdade, enquanto as lições aprendidas também podem ajudar outras plataformas a resolver o mesmo em seus próprios sistemas.