Tem um exercício que gosto de fazer no início do semestre.

Peço aos alunos que imaginem um sistema de triagem de currículos treinado com dados históricos de contratação de uma empresa de tecnologia. O modelo foi treinado para prever quais candidatos têm maior probabilidade de ser contratados. Os dados abrangem dez anos de processos seletivos. A acurácia é boa.

Então faço uma pergunta: esse modelo é justo?

A maioria dos alunos responde instintivamente que sim — afinal, o modelo apenas aprendeu com dados reais, com decisões humanas reais. Não há nenhuma regra explícita discriminando ninguém. Nenhuma intenção maliciosa. Só matemática.

Então faço a segunda pergunta: e se, nos últimos dez anos, essa empresa contratou predominantemente homens para cargos técnicos?

O silêncio que se segue é o momento em que o problema se torna real.

O modelo não foi programado para discriminar. Ele foi treinado para reproduzir o padrão histórico de contratação. E o padrão histórico de contratação carregava um viés que existia muito antes do algoritmo — no mercado de trabalho, nas desigualdades de acesso à formação técnica, nas dinâmicas sociais que moldaram quem chegou a candidatar aquelas vagas durante uma década. O modelo não criou esse viés. Ele o herdou. E ao reproduzi-lo em escala, com a aparência de objetividade que números conferem, ele o perpetuou.

Isso é viés algorítmico. E começa muito antes do primeiro linha de código.

O viés não está no algoritmo. Está em tudo que veio antes.

Quando o tema de viés em IA aparece na mídia, a narrativa costuma ser binária: ou o algoritmo é neutro e objetivo — afinal, são apenas números — ou foi deliberadamente programado para discriminar por engenheiros mal-intencionados.

As duas narrativas são falsas. E a segunda é particularmente perigosa porque, ao exigir intenção maliciosa como condição para o problema existir, acaba absolvendo a maioria dos casos reais — onde não há intenção alguma, mas o dano é concreto.

O viés algorítmico é quase sempre involuntário. E é quase sempre inevitável quando você treina modelos sobre dados que refletem um mundo historicamente desigual — o que descreve praticamente todos os dados que existem sobre comportamento humano.

O viés entra em pelo menos quatro momentos distintos do processo, e vale examinar cada um.

No momento da coleta. Os dados que existem não são uma amostra aleatória do mundo. São um registro do que foi medido, por quem tinha acesso aos instrumentos de medição, sobre quem estava visível para ser medido. Dados históricos de saúde sobrerrepresentam populações com acesso a serviços médicos. Dados de crédito sobrerrepresentam pessoas que já participaram do sistema financeiro formal. Dados de desempenho acadêmico refletem quem teve acesso a educação de qualidade. Quem não está nos dados não existe para o modelo.

No momento da rotulação. Dados supervisionados precisam de rótulos — alguém ou algum sistema que diga o que é correto. Quando os rótulos são decisões humanas históricas, eles carregam os preconceitos de quem as tomou. Um modelo treinado para prever “bom funcionário” a partir de avaliações de desempenho históricas aprende o que os gestores daquela época, naquele contexto, consideravam bom desempenho. Incluindo todos os vieses conscientes e inconscientes que isso implica.

No momento da escolha do objetivo. Como já discutimos no artigo anterior, a métrica que você otimiza molda o que o modelo aprende a valorizar. Se você otimiza para maximizar a produtividade medida de certas formas, o modelo vai aprender a favorecer quem historicamente produziu mais segundo essas métricas — que pode ser sistematicamente correlacionado com características demográficas que nada têm a ver com capacidade real.

No momento da implantação. Mesmo um modelo bem construído pode produzir viés quando implantado em contextos diferentes do que foi treinado. Um modelo de reconhecimento facial treinado principalmente com rostos de pessoas de pele clara vai performar pior em pessoas de pele escura — não porque foi programado assim, mas porque os dados de treinamento não representavam o mundo onde o modelo seria usado.

O problema com a solução óbvia

Quando apresento esse quadro em aula, a solução que os alunos propõem quase imediatamente é: basta remover as variáveis sensíveis dos dados. Não inclui raça, gênero, origem — e o modelo não pode usar essas informações para discriminar.

É uma solução intuitiva. E frequentemente não funciona.

O motivo é que variáveis sensíveis raramente estão isoladas nos dados. Elas estão correlacionadas com dezenas de outras variáveis que parecem neutras mas não são. CEP é uma proxy para raça em cidades historicamente segregadas. Escola frequentada é uma proxy para classe social. Tipo de telefone celular é uma proxy para renda. Lacunas no currículo são uma proxy para gênero em culturas onde mulheres interrompem carreiras por responsabilidades de cuidado.

Quando você remove a variável sensível, o modelo não perde a informação — ele a reconstrói a partir das variáveis correlacionadas. Esse fenômeno tem um nome: proxy discrimination. O modelo não usa raça diretamente. Usa CEP, que usa raça indiretamente. O resultado discriminatório é o mesmo.

Mas há um problema ainda mais fundo. A própria ideia de “remover o viés” pressupõe que existe uma versão neutra dos dados — uma descrição do mundo sem viés, que só precisaria ser revelada se tirássemos as variáveis problemáticas. Essa versão neutra não existe. Os dados são um registro do mundo. E o mundo é desigual. Qualquer modelo treinado sobre dados do mundo real vai aprender, em alguma medida, as desigualdades do mundo real.

Isso não significa que não há nada a fazer. Significa que o problema é mais difícil do que parece — e que soluções simplistas frequentemente criam novos problemas.

Quando remover o viés piora as coisas

Há casos documentados onde tentativas de corrigir viés algorítmico produziram resultados piores para os grupos que pretendiam proteger. Vale examinar um.

Em sistemas de justiça criminal nos Estados Unidos, algoritmos de avaliação de risco são usados para prever a probabilidade de reincidência de réus. Pesquisadores descobriram que um desses sistemas atribuía pontuações de risco mais altas a réus negros em comparação com réus brancos com históricos similares — um viés claro.

A resposta intuitiva seria: ajuste o modelo para que as taxas de erro sejam iguais entre grupos. Problema resolvido.

Mas pesquisadores de fairness em ML descobriram algo perturbador: dependendo de como você define “justo”, as definições são matematicamente incompatíveis entre si. Você pode garantir que o modelo erre na mesma proporção para ambos os grupos. Ou pode garantir que, entre as pessoas que o modelo classifica como alto risco, a proporção de reincidência real seja igual nos dois grupos. Mas não pode garantir as duas coisas ao mesmo tempo — não quando as taxas de reincidência históricas são diferentes entre os grupos, o que é frequentemente o caso em sistemas com histórico de discriminação.

Isso não é um bug que será corrigido com mais dados ou melhor engenharia. É uma impossibilidade matemática que reflete uma tensão real entre diferentes noções de justiça — e que nenhum algoritmo pode resolver sozinho, porque é fundamentalmente uma questão ética e política, não técnica.

O que isso muda na sala de aula

Quando comecei a ensinar IA, tratava viés como um tópico especial — uma seção dedicada no final do semestre, depois de cobrir os algoritmos “de verdade”. Como se fosse um apêndice ético numa disciplina técnica.

Não faço mais isso.

Hoje, a questão do viés aparece na primeira aula, quando discutimos o que significa treinar um modelo sobre dados. Aparece quando falamos de coleta de dados. Aparece quando discutimos métricas de avaliação. Aparece quando analisamos casos reais de implantação.

Porque viés não é um problema ético separado dos problemas técnicos. É uma consequência direta das escolhas técnicas — quais dados usar, o que otimizar, como avaliar, onde implantar. Tratar as duas coisas como separadas é o que permite que engenheiros construam sistemas com consequências discriminatórias e depois digam, com honestidade, que não foi intencional.

Não foi intencional. Mas era previsível. E previsível significa responsabilidade.

O aluno que imaginou o sistema de triagem de currículos no início desta aula estava prestes a construir algo exatamente assim — não por malícia, mas por falta das perguntas certas.

De onde vieram esses dados? Quem estava visível neles e quem estava ausente? O que os rótulos históricos realmente medem? Quem é afetado quando o modelo erra — e erra de formas sistemáticas?

Essas perguntas não aparecem em nenhum tutorial de scikit-learn. Não estão nos benchmarks que usamos para comparar algoritmos. Não são cobradas na maioria das provas de Machine Learning.

Mas são as perguntas que determinam se o sistema que você vai construir vai funcionar para todo mundo — ou apenas para quem já estava bem representado nos dados.

E essa diferença, no fim, é a única que importa para as pessoas do outro lado do algoritmo.