Semana 5 · Aula 1 · 50-60 minutos
Audite um conjunto de dados em busca de justiça
Aprenda como exemplos desiguais criam viés, leia resultados por grupo para ver para quem um sistema funciona bem, e audite um conjunto de dados em busca de justiça.
- Materiais
- Esta aula em um navegador web · Papel e lápis, ou um aplicativo de notas
- Esta aula
- Em andamento
Salva sozinho neste aparelho
O que você vai conseguir fazer
- Definir viés e representação e explicar como eles se conectam.
- Ler um resultado por grupo para comparar o quanto um sistema funciona bem para grupos diferentes.
- Explicar o que significa justiça quando uma IA trata grupos de forma diferente.
- Auditar um conjunto de dados descrito e apontar um jeito em que os exemplos dele estão desequilibrados.
Para pensar
Um assistente de voz entende um amigo quase sempre, mas vive entendendo errado outro amigo que tem um sotaque diferente. O software é o mesmo para os dois. Por que ele funcionaria de forma tão diferente para cada um?
Guarde o seu primeiro palpite: mais adiante na aula você vai testá-lo contra números reais por grupo.
Faça uma previsão
Preveja: se um sistema de reconhecimento facial aprendeu principalmente com fotos de adultos, você acha que ele vai funcionar igualmente bem com fotos de crianças?
Vocabulário
Ver todo o vocabulário do curso- Viés
- Quando um sistema funciona sistematicamente melhor ou pior para algumas pessoas ou coisas do que para outras, normalmente por causa dos exemplos com que ele aprendeu.
- Representação
- O quanto um grupo aparece em um conjunto de dados. Um grupo está bem representado se tem muitos exemplos, e sub-representado se tem poucos.
- Resultado por grupo
- Uma nota medida separadamente para cada grupo, em vez de um único número para todo mundo, para você ver para quem o sistema funciona bem.
- Justiça
- Tratar os grupos de um jeito que as pessoas considerariam parelho e razoável, para que nenhum grupo fique em desvantagem sem um bom motivo.
O viés vem dos exemplos, e não de o computador "querer" alguma coisa
Um computador não tem opiniões nem sentimentos. Quando dizemos que uma IA tem viés, queremos dizer que ela funciona sistematicamente melhor para algumas pessoas ou coisas do que para outras. Quase sempre isso acontece por causa dos exemplos com que ela aprendeu.
Se um sistema aprende com exemplos desiguais, ele fica bom nos casos comuns e mais fraco nos raros. O software está fazendo exatamente aquilo para o que foi treinado: a desigualdade veio dos dados que as pessoas deram a ele.
- Um sistema de fala treinado principalmente com um sotaque entende melhor aquele sotaque.
- Um classificador de fotos treinado principalmente com imagens diurnas tem dificuldade à noite.
- Uma ferramenta de tradução treinada com escrita formal lida mal com gírias.
Representação: quem aparece nos exemplos, e o quanto
Representação tem a ver com o quanto cada grupo aparece nos dados. Um grupo está bem representado quando tem muitos exemplos e sub-representado quando tem poucos. Um conjunto de dados pode ter milhares de exemplos e ainda assim deixar alguns grupos com quase nenhum.
A sub-representação é uma das maiores fontes de viés. Um modelo só consegue aprender padrões que ele viu. Se um grupo quase não aparece nos exemplos, o modelo tem pouco com que aprender, então tende a errar mais para aquele grupo.
- Um conjunto de 10.000 fotos de cachorros com apenas 20 fotos de uma raça.
- Um conjunto de dados médicos coletado principalmente com adultos, com poucas crianças.
- Um conjunto de escrita à mão com muita letra de forma e pouquíssima letra cursiva.
Os resultados por grupo mostram o que uma nota geral esconde
É tentador julgar um sistema por um único número, como "ele tem 92 por cento de acurácia". Mas um único número é uma média de todo mundo. Ele pode parecer ótimo e mesmo assim falhar feio para um grupo menor, cujos erros ficam enterrados na média.
Um resultado por grupo mede a acurácia separadamente para cada grupo. Quando você abre a nota, dá para ver para quem o sistema funciona bem e para quem funciona mal. Perguntas sobre justiça quase sempre precisam de resultados por grupo, e não só de um número geral.
- 92 por cento no geral, mas só 74 por cento para um grupo de sotaque.
- Acurácia geral alta, mas muito mais erros em fotos noturnas do que em fotos diurnas.
- Um teste que passa na média, mas falha com frequência para quem escreve com a mão esquerda.
Justiça: alguém está ficando em desvantagem sem um bom motivo?
Justiça significa tratar os grupos de um jeito que as pessoas considerariam parelho e razoável. Nem sempre isso exige resultados idênticos, mas exige perguntar se algum grupo está ficando em desvantagem, e se há um bom motivo para essa diferença.
Justiça é um julgamento humano, não algo que o computador decide. São as pessoas que precisam olhar os resultados por grupo, decidir se uma diferença é aceitável e assumir a responsabilidade de corrigi-la, muitas vezes reunindo exemplos mais equilibrados.
- Decidir que uma diferença de 74 por cento contra 92 por cento de acurácia é grande demais para lançar.
- Escolher reunir mais exemplos dos grupos sub-representados.
- Perguntar quem é prejudicado se o sistema errar com um grupo específico.
Exemplo resolvido
Auditando o conjunto de dados de um detector de sorrisos
- Diga qual é a tarefa. Um aplicativo de câmera tenta bater a foto quando todo mundo está sorrindo. Entrada: um rosto. Saída: "sorrindo" ou "não sorrindo".
- Olhe a representação. O conjunto de treinamento tem 8.000 fotos de adultos e apenas 500 fotos de crianças pequenas.
- Preveja o efeito. Com tão poucos exemplos de crianças, o modelo tem pouco com que aprender sobre como as crianças sorriem, então provavelmente vai errar mais com elas.
- Confira o resultado por grupo, e não só a média. A acurácia geral é de 90 por cento, mas, aberta por grupo, é 94 por cento para adultos e 71 por cento para crianças.
- Tome a decisão sobre justiça. A diferença é grande e as crianças ficam em desvantagem sem um bom motivo, então o conserto justo é reunir mais exemplos de crianças e testar de novo antes de lançar.
O essencial: Audite um conjunto de dados perguntando quem está sub-representado, e depois confira os resultados por grupo para ver se essa desigualdade virou erros injustos.
Os valores estão em % de acurácia.
Um gráfico de barras da acurácia de um sistema de reconhecimento de fala, medida separadamente para quatro grupos de sotaque, em porcentagem. A média geral é 88 por cento, mas os grupos são desiguais: grupo de sotaque A, 94 por cento; grupo de sotaque B, 91 por cento; grupo de sotaque C, 82 por cento; e grupo de sotaque D, 74 por cento. Os grupos C e D, que tiveram menos exemplos de treinamento, ficam bem abaixo da média, então o número geral sozinho esconde uma diferença real de cerca de 20 pontos entre o melhor e o pior grupo.
Abra a média e fica claro que o sistema funciona melhor para alguns grupos do que para outros.
| Grupo de sotaque | Exemplos de treinamento | Acurácia |
|---|---|---|
| A | 5,000 | 94% |
| B | 4,200 | 91% |
| C | 900 | 82% |
| D | 400 | 74% |
Uma tabela ligando quantos exemplos de treinamento cada grupo de sotaque teve à acurácia dele. Grupo A: 5.000 exemplos, 94 por cento de acurácia. Grupo B: 4.200 exemplos, 91 por cento. Grupo C: 900 exemplos, 82 por cento. Grupo D: 400 exemplos, 74 por cento. Os grupos com menos exemplos têm a menor acurácia, mostrando como a sub-representação vira viés.
Atividade
Auditoria de justiça
Auditar o recomendador de programas de ciência e tecnologia de uma escola fictícia: ver como uma acurácia geral esconde um resultado fraco para um grupo menor, e depois corrigir isso limitando uma característica substituta e acrescentando exemplos sub-representados.
- Leia o acerto geral e depois olhe o de cada grupo. Eles não são a mesma coisa.
- O modelo se apoia numa característica substituta enganosa. Baixe o peso dela e acrescente exemplos do grupo pouco representado.
- Rode a auditoria de novo e compare com a base com falhas. Melhorar a justiça é um avanço, não uma garantia.
Situação fictícia: uma escola recomenda programas STEM depois da aula. Cada estudante, grupo e bairro aqui é inventado. Dois grupos: Colina (maior, perto do campus) e Beira-Rio (menor, mais longe).
Acerto geral
63%
5 of 8 test students predicted correctly.
Acerto por grupo
Aprovações falsas: 0 · Estudantes que encaixavam e passaram batido: 0 · Exemplos de treino: 10
Aprovações falsas: 0 · Estudantes que encaixavam e passaram batido: 3 · Exemplos de treino: 6
O número geral pode parecer bom enquanto um grupo vai bem pior: sempre leia os resultados por grupo.
Antes e depois
| Medida | Base com falhas | A sua versão |
|---|---|---|
| Acerto geral | 63% | 63% |
| Acerto de Colina | 100% | 100% |
| Acerto de Beira-Rio | 25% | 25% |
Baixar o peso da característica substituta ou acrescentar exemplos de Beira-Rio aumenta o acerto de Beira-Rio. Atenção: uma mudança também pode mexer no resultado de outro grupo. Melhorar a representação é um avanço real, mas não garante justiça perfeita.
Confira o que você entendeu
Responda a estas perguntas para conferir se você sabe perceber viés, ler resultados por grupo e julgar justiça.
Question 1. De onde o viés em um sistema de IA vem com mais frequência?
Question 2. Decida se a afirmação é verdadeira ou falsa.
Um único número de acurácia geral basta para provar que um sistema é justo com todos os grupos.
Question 3. Com base nos resultados por grupo, qual é o próximo passo mais razoável?
Um aplicativo de fotos informa 90 por cento de acurácia no geral. Aberta por grupo, ela é 95 por cento para adultos e 70 por cento para crianças. O conjunto de treinamento tinha pouquíssimas fotos de crianças.
0 de 3 respondidas
Experimente você
Crie um conjunto de dados mais justo
Escolha uma tarefa simples de IA e planeje um conjunto de dados que seria justo entre grupos, antes de treinar qualquer modelo.
- Escolha uma tarefa, como ler letra à mão ou reconhecer bichos de estimação.
- Liste os grupos para os quais o sistema deveria funcionar bem.
- Decida mais ou menos quantos exemplos cada grupo precisa para que nenhum fique sub-representado.
- Escreva como você conferiria o resultado com uma acurácia por grupo, e não só com uma média geral.
Você conseguiu quando
- Pelo menos três grupos que o sistema deveria atender são nomeados.
- Um plano dá a cada grupo exemplos suficientes para evitar sub-representação.
- O plano confere a justiça usando resultados por grupo.
Reflexão
Salva neste aparelho enquanto você escreve
Por favor, não inclua informações privadas. As suas respostas ficam salvas só neste navegador e nunca são enviadas para lugar nenhum.
Recapitulando
O viés costuma vir de representação desigual, e só os resultados por grupo revelam se um sistema é justo com todos os grupos.
- Viés significa que um sistema funciona sistematicamente melhor para alguns grupos do que para outros, normalmente por causa dos exemplos dele.
- Grupos sub-representados tendem a receber mais erros, porque o modelo viu menos deles.
- Uma única nota geral pode esconder uma diferença real; os resultados por grupo mostram para quem o sistema funciona.
- Justiça é um julgamento humano sobre se uma diferença é aceitável e como corrigi-la.
Extensão para o 7.º e 8.º ano
Quando acurácia igual ainda não é justiça
Às vezes dois grupos têm a mesma acurácia, mas os erros pesam mais para um deles. Imagine um sistema que marca livros da biblioteca como "atrasados". Uma marcação errada pode ser um aborrecimento pequeno para um grupo, mas impedir outro grupo de pegar livros emprestados.
Escolha uma decisão que uma IA poderia tomar e descreva um caso em que acurácia igual entre grupos ainda leva a um resultado injusto, porque o custo de um erro não é igual. Que informação a mais você precisaria para perceber isso?
Termine esta aula
- Attempt the knowledge check: não feito
- Save a reflection (recommended): não feito
Faça a checagem de conhecimentos para terminar esta aula.