Semana 3 · Aula 3 · 50-60 minutos
Confunda e melhore o modelo
Ache os casos-limite que enganam um classificador, leia os erros dele em uma matriz de confusão, e proponha mudanças que o deixem melhor.
- Materiais
- Esta aula em um navegador web · Papel e lápis, ou um aplicativo de notas · O conjunto de erros e a matriz de confusão já incluídos que aparecem na aula
- Esta aula
- Em andamento
Salva sozinho neste aparelho
O que você vai conseguir fazer
- Diferenciar um falso positivo de um falso negativo para uma categoria.
- Identificar casos-limite com boas chances de confundir um classificador.
- Ler uma matriz de confusão para ver quais categorias se misturam.
- Propor uma mudança, como acrescentar exemplos, que reduza um erro específico.
Para pensar
Um classificador de bichos de estimação vive chamando um cachorrinho peludo específico de "gato". E ele está confiante todas as vezes. Isso é azar aleatório, ou pode haver um padrão nos erros dele que você consiga achar e consertar?
Esta aula é sobre achar o padrão nos erros de um classificador, e não apenas notar que ele erra.
Faça uma previsão
Preveja: em um classificador de gato, cachorro e coelho, quais duas categorias você acha que são mais confundidas entre si, e por quê?
Vocabulário
Ver todo o vocabulário do curso- Falso positivo
- Quando o classificador diz que algo ESTÁ em uma categoria mas não está; por exemplo, chamar de "gato" uma foto que na verdade é de um cachorro.
- Falso negativo
- Quando o classificador diz que algo NÃO está em uma categoria mas na verdade está; por exemplo, deixar passar um gato de verdade e chamá-lo de cachorro.
- Caso-limite
- Uma entrada incomum ou complicada, perto da fronteira entre categorias, como um cachorro peludo que lembra um pouco um gato, e que é fácil de errar.
- Matriz de confusão
- Uma tabela que alinha os rótulos verdadeiros contra as previsões do classificador, para você ver exatamente quais categorias se misturam e com que frequência.
Falsos positivos e falsos negativos
Nem todo erro é igual. Um falso positivo de "gato" é quando o classificador diz "gato" mas a foto não é de um gato. Um falso negativo de "gato" é quando a foto é mesmo de um gato mas o classificador diz que é outra coisa. Toda categoria tem os dois tipos.
A diferença importa porque os dois erros podem ter custos bem diferentes. Deixar passar um alarme de incêndio de verdade (um falso negativo) pode ser bem mais grave que um alarme falso (um falso positivo), então as pessoas muitas vezes se importam com qual tipo de erro um sistema comete.
- Falso positivo de "gato": a foto de um coelho rotulada como "gato".
- Falso negativo de "gato": a foto de um gato de verdade rotulada como "cachorro".
- Um filtro de spam marcar uma mensagem real como spam é um falso positivo de "spam".
Os casos-limite ficam perto da fronteira
Os classificadores cometem a maior parte dos erros em casos-limite: entradas incomuns que ficam perto da fronteira entre duas categorias. Um cachorrinho peludo compartilha características com gatos, um coelho fotografado com as orelhas abaixadas perde uma característica-chave, e uma foto escura e borrada esconde características de todas as categorias.
Casos-limite não são aleatórios. Se você consegue prever quais entradas ficam perto da fronteira, consegue prever onde o classificador vai ter dificuldade, e reunir exemplos melhores exatamente para esses casos.
- Um gato sem pelo, que não tem a textura de pelo de sempre.
- Um cachorro de fantasia, que esconde o formato dele.
- Uma foto tirada com pouquíssima luz, em que cores e bordas ficam pouco nítidas.
Ler uma matriz de confusão e depois melhorar o modelo
Uma matriz de confusão coloca os rótulos verdadeiros contra as previsões em uma grade. Os números na diagonal (gato verdadeiro previsto como gato) são acertos; os números fora da diagonal são erros, e cada célula fora da diagonal diz exatamente qual confusão aconteceu e com que frequência. Um número grande na célula "cachorro verdadeiro, previsto gato" quer dizer que cachorros são muito confundidos com gatos.
Assim que você enxerga o maior erro, dá para melhorar o modelo de propósito. O conserto mais comum é acrescentar mais e melhores exemplos do caso confuso, como mais fotos de cachorrinhos peludos, para o classificador aprender as características que os diferenciam. Você melhora onde a matriz aponta, e mede de novo.
- A célula "coelho verdadeiro, previsto gato" estar grande quer dizer que coelhos são chamados de gatos com frequência.
- Acrescentar fotos de coelho mais nítidas mira exatamente esse erro.
- Depois de um conserto, você confere de novo a acurácia e a matriz para confirmar que o erro diminuiu.
Exemplo resolvido
De um erro confuso a um conserto direcionado
- Olhe a matriz de confusão e ache o maior número fora da diagonal: "coelho verdadeiro, previsto gato", com 9 erros.
- Diga o tipo de erro: para a categoria gato, são falsos positivos (chamados de gato, mas na verdade coelhos); para a categoria coelho, são falsos negativos (coelhos de verdade que passaram batido).
- Pergunte por quê: coelhos e gatos podem compartilhar textura de pelo e formas arredondadas, e coelhos com as orelhas abaixadas perdem a característica que os distingue; casos-limite clássicos.
- Proponha um conserto: acrescente mais fotos de coelho ao conjunto de treinamento, principalmente coelhos com orelhas abaixadas e em ângulos parecidos com os de gato, para o classificador aprender as diferenças.
- Meça de novo: teste outra vez e veja se a célula "coelho verdadeiro, previsto gato" diminuiu e se a acurácia de coelho subiu.
O essencial: Ache o maior erro na matriz de confusão, diga de que tipo ele é, explique o caso-limite por trás dele, acrescente exemplos direcionados e meça de novo.
| Previsto | |||
|---|---|---|---|
| Real | Cat | Dog | Coelho |
| Cat | 47 | 2 | 1 |
| Dog | 3 | 44 | 3 |
| Coelho | 9 | 4 | 37 |
Uma matriz de confusão 3 por 3 de um classificador de gato, cachorro e coelho no conjunto de teste. As linhas são o rótulo verdadeiro, as colunas são o rótulo previsto. Gatos verdadeiros: 47 previstos como gato, 2 como cachorro, 1 como coelho. Cachorros verdadeiros: 3 gato, 44 cachorro, 3 coelho. Coelhos verdadeiros: 9 gato, 4 cachorro, 37 coelho. A diagonal (47, 44, 37) são os acertos. O maior erro é o 9 na célula "coelho verdadeiro, previsto gato", mostrando que coelhos são confundidos sobretudo com gatos, a mesma categoria fraca do gráfico de acurácia.
As células da diagonal são acertos; o 9 em "coelho verdadeiro, previsto gato" é o maior erro a consertar.
Antes: o conjunto de treinamento tinha poucas fotos de coelhos com as orelhas abaixadas, então muitos desses coelhos eram previstos como gatos, e a acurácia de coelho ficava em 74 por cento. Depois: mais fotos de coelho foram acrescentadas, principalmente casos-limite com orelhas abaixadas e em ângulos parecidos com os de gato; o classificador aprendeu a diferença, os erros de "coelho verdadeiro, previsto gato" caíram, e a acurácia de coelho subiu. O conserto mirou exatamente o erro que a matriz de confusão apontava.
Acrescentar exemplos mirando a maior confusão é como se melhora de propósito.
Atividade
Confunda e melhore
Tentar confundir o classificador com casos-limite, e depois melhorar um modelo fraco acrescentando algumas imagens de treinamento variadas e comparando o primeiro modelo com o melhorado.
- Parte 1 — Confunda o modelo: preveja o que ele vai fazer com cada imagem complicada, rode e veja de onde vem a confusão.
- Parte 2 — Melhore: um modelo inicial fraco só viu círculos e quadrados, nunca um triângulo. Acrescente algumas imagens variadas e treine de novo.
- Compare o primeiro modelo com o melhorado: o que foi consertado, o que quebrou, e por quê.
Parte 1 · Confunda o modelo
Cada imagem é um caso-limite conhecido. Primeiro preveja a resposta do modelo e depois rode.
Geometric shapes: Um quadrado girado 45 graus, então parece um losango.
Edge case: girado
Geometric shapes: Um círculo com a metade direita escondida atrás de um bloco.
Edge case: encoberto
Geometric shapes: Um quadrado num fundo ruidoso e cheio de pontinhos.
Edge case: fundo incomum
Geometric shapes: Um triângulo borrado, com as bordas suaves e difusas.
Edge case: borrado
Geometric shapes: Um círculo bem pequeno no meio da imagem.
Edge case: bem pequeno
School supplies: Um lápis bem grosso que parece mais uma barra.
Edge case: características em comum
Geometric shapes: Um quadrado com um círculo pequeno sobreposto num canto.
Edge case: categoria misturada
Parte 2 · Melhore o modelo
The starter model has only ever seen circles and squares: it has never seen a triangle, so it misses every one. Add up to 4 more varied pictures (try some triangles!) and retrain to see if it improves.
Add pictures (0/4 used)
Acrescente pelo menos uma imagem para construir um modelo melhorado.
Confira o que você entendeu
Responda a estas perguntas para conferir se você sabe ler os erros de um classificador e melhorá-lo.
Question 1. Que tipo de erro é este para a categoria "gato"?
Uma foto é na verdade de um coelho, mas o classificador prevê "gato".
Question 2. Quais destas são boas maneiras de reduzir um erro específico que a matriz de confusão revela? Escolha todas que se aplicam.
Marque todas as que se aplicam.
Question 3. Decida se a afirmação é verdadeira ou falsa.
Em uma matriz de confusão, os números da diagonal são as previsões corretas.
0 de 3 respondidas
Experimente você
Cace a confusão
Escolha um par de categorias que você espera que um classificador confunda e planeje como acharia e consertaria essa confusão.
- Escolha duas categorias parecidas (por exemplo, bolinhos e cupcakes, ou lobos e cachorros).
- Descreva um caso-limite perto da fronteira e preveja se ele vira falso positivo ou falso negativo para cada categoria.
- Diga qual célula de uma matriz de confusão cresceria, e que exemplos você acrescentaria para diminuí-la.
Você conseguiu quando
- Um par confundível plausível, com um caso-limite na fronteira.
- O erro é corretamente enquadrado como falso positivo ou falso negativo.
- Um conserto direcionado, ligado a uma célula específica da matriz de confusão.
Reflexão
Salva neste aparelho enquanto você escreve
Por favor, não inclua informações privadas. As suas respostas ficam salvas só neste navegador e nunca são enviadas para lugar nenhum.
Recapitulando
Uma matriz de confusão mostra exatamente quais categorias um classificador mistura, e os casos-limite explicam por quê; você melhora o modelo acrescentando exemplos direcionados e medindo de novo.
- Falsos positivos e falsos negativos são erros diferentes, com custos diferentes.
- Casos-limite perto da fronteira de uma categoria causam a maioria das confusões.
- Leia a matriz de confusão, acrescente exemplos para o maior erro, e meça de novo.
Extensão para o 7.º e 8.º ano
Que erro você preferiria cometer?
Em muitos sistemas reais, não dá para eliminar todos os erros, então quem projeta escolhe para que tipo pender. Uma ferramenta de triagem médica pode aceitar mais falsos positivos (exames extras) para evitar falsos negativos (uma doença que passa despercebida), enquanto um filtro de spam pode aceitar mais falsos negativos (algum spam passa) para evitar falsos positivos (perder uma mensagem real).
Escolha um classificador real e defenda qual erro ele deveria evitar mais. Como quem o construiu poderia ajustar o modelo ou o limiar dele para trocar um tipo de erro pelo outro?
Termine esta aula
- Attempt the knowledge check: não feito
- Save a reflection (recommended): não feito
Faça a checagem de conhecimentos para terminar esta aula.