Image for post
Image for post
LLuis Quiles Ardila — Diretor de Data & Analytics na everis

Nos próximos anos, o uso de soluções de Inteligência Artificial (IA) irá se multiplicar como parte da revolução digital, juntamente com o aumento da capacidade tecnológica e a utilização de aplicações de IA que cobrem grande parte do nosso dia a dia: carros autônomos ou drones, assistentes virtuais, recomendações de soluções, automação de tomada de decisão, reconhecimento de imagem etc.

Exemplos reais de Machine Learning Bias

O uso de modelos de machine learning (aprendizado de máquina) de forma generalizada também implica o gerenciamento de alguns riscos e responsabilidades. Aqui estão dois exemplos recentes em que o uso de modelos de machine learning gerou impactos sobre a reputação de empresas ou organizações:

· Chatbot do Twitter(1), em março de 2016, a Microsoft lançou um bot para o Twitter que interagia livremente. Em 24 horas, o bot se mostrou racista, sexista e defendeu o nazismo.

· Sistema de pontuação para definição de penas(2), em vários estados dos EUA, os modelos são utilizados para definir o termo das sentenças. Estes modelos de pontuação definem a probabilidade de reincidência de um indivíduo. Quanto maior a probabilidade, maior será a sentença. Organizações como a Propublica(3) apresentaram evidências de que os modelos são muito mais rigorosos com pessoas de ascendência africana do que pessoas brancas, mesmo que os modelos não tenham como base a etnia do indivíduo.

O primeiro caso representa o risco de quando os modelos são construídos em um ambiente controlado e, em seguida, deixados em um ambiente aberto. Supondo que a função de maximização do chatbot era o número de visualizações, é fácil deduzir que o bot aprendeu rapidamente que quanto mais extremistas suas declarações, mais visualizações recebia.

No segundo, é um problema de Machine Learning Bias, que ocorre quando um modelo assume os preconceitos do banco de dados do criador do modelo, neste caso, a partir de estudos sobre os resultados do modelo(2):

  • A assertividade global do modelo é de 68% para pessoas brancas e afrodescendentes, os valores de assertividade também estão em torno destes valores (69% e 67%, respectivamente).

Possivelmente, a origem da discriminação encontra-se nos dados utilizados para a criação do modelo de pontuação. Embora a variável de etnia não tenha sido utilizada diretamente, os dados tinham intrinsecamente a tendência a estarem errados “a favor” dos brancos e “contra” o pessoas de ascendência africana, então, colocando o modelo para trabalhar com dados reais usando um universo maior, os resultados mostram a parcialidade presente na pontuação.

Alcance do Machine Learning Bias

Os dois casos expostos são apenas uma amostra dos casos que podemos encontrar:

· Casos de uso de modelos para seleção de funcionários, como podemos garantir que os preconceitos históricos dos recrutadores não sejam incluídos em nossos modelos?

· Quando usamos modelos de recomendação, seja de compra ou de notícias, caímos no dilema do ovo e da galinha.

· O carro autônomo que em uma situação limite pode ter que decidir quem atropelar.

· Preconceito em algoritmos de reconhecimento facial que, em muitos casos, acumulam mais erros com pessoas de pele escura do que pessoas com pele clara.

Pelo que foi exposto, é fácil concluir que o modo de combater o Machine Learning Bias envolve prestar mais atenção aos dados que usamos para construir o modelo, também para entender o seu funcionamento e usar estratégias que nos permitam analisar o impacto que os dados “reais” terão sobre o resultado.

No momento em que uma das principais tendências é o Auto Machine Learning, as recomendações anteriores podem parecer contraditórias. Auto ML é uma ferramenta poderosa que vem para agilizar a fase de construção dos modelos, mas não é uma caixa mágica, não nos poupa das fases anteriores de análise de dados e seleção de variáveis e nem as etapas posteriores da análise dos resultados do modelo, especialmente se considerarmos soluções integradas ao comportamento humano.

Do ponto de vista prático, para evitar o Machine Learning Bias é necessário levar em consideração os seguintes pontos:

  • Trabalhe os dados: selecione os dados e casos para evitar a discriminação, se for necessário, utilizar dados de data augmentation.

Na everis, incluímos a análise de Machine Learning Bias dentro da nossa metodologia de trabalho, por isso temos experiência de trabalho neste contexto, e estamos disponíveis para falar sobre isso e colaborar com os desafios de nossos clientes.

Ultimamente, a preocupação com o Machine Learning Bias aumentou significativamente, com grupos que propõem boas práticas para evitar a discriminação do ML, grupos que estão trabalhando na criação de conjuntos de imagens mais representativos da sociedade, e até mesmo uma proposta para que os cientistas de dados possuam um código ético inspirado no dos médicos. Certamente, este campo aumentará nos próximos anos.

(1) https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist

(2) https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

Written by

Exponential intelligence for exponential companies

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store