Week 3 · Lesson 3 · 50-60 minutos
Confunda e melhore o modelo
Ache os casos-limite que enganam um classificador, leia os erros dele em uma matriz de confusão, e proponha mudanças que o deixem melhor.
- Materials
- Esta aula em um navegador web · Papel e lápis, ou um aplicativo de notas · O conjunto de erros e a matriz de confusão já incluídos que aparecem na aula
- This lesson
- In progress
Auto-saves on this device
What you'll be able to do
- Diferenciar um falso positivo de um falso negativo para uma categoria.
- Identificar casos-limite com boas chances de confundir um classificador.
- Ler uma matriz de confusão para ver quais categorias se misturam.
- Propor uma mudança, como acrescentar exemplos, que reduza um erro específico.
Think about it
Um classificador de bichos de estimação vive chamando um cachorrinho peludo específico de "gato". E ele está confiante todas as vezes. Isso é azar aleatório, ou pode haver um padrão nos erros dele que você consiga achar e consertar?
Esta aula é sobre achar o padrão nos erros de um classificador, e não apenas notar que ele erra.
Make a prediction
Preveja: em um classificador de gato, cachorro e coelho, quais duas categorias você acha que são mais confundidas entre si, e por quê?
Vocabulary
See the full course vocabulary- Falso positivo
- Quando o classificador diz que algo ESTÁ em uma categoria mas não está; por exemplo, chamar de "gato" uma foto que na verdade é de um cachorro.
- Falso negativo
- Quando o classificador diz que algo NÃO está em uma categoria mas na verdade está; por exemplo, deixar passar um gato de verdade e chamá-lo de cachorro.
- Caso-limite
- Uma entrada incomum ou complicada, perto da fronteira entre categorias, como um cachorro peludo que lembra um pouco um gato, e que é fácil de errar.
- Matriz de confusão
- Uma tabela que alinha os rótulos verdadeiros contra as previsões do classificador, para você ver exatamente quais categorias se misturam e com que frequência.
Falsos positivos e falsos negativos
Nem todo erro é igual. Um falso positivo de "gato" é quando o classificador diz "gato" mas a foto não é de um gato. Um falso negativo de "gato" é quando a foto é mesmo de um gato mas o classificador diz que é outra coisa. Toda categoria tem os dois tipos.
A diferença importa porque os dois erros podem ter custos bem diferentes. Deixar passar um alarme de incêndio de verdade (um falso negativo) pode ser bem mais grave que um alarme falso (um falso positivo), então as pessoas muitas vezes se importam com qual tipo de erro um sistema comete.
- Falso positivo de "gato": a foto de um coelho rotulada como "gato".
- Falso negativo de "gato": a foto de um gato de verdade rotulada como "cachorro".
- Um filtro de spam marcar uma mensagem real como spam é um falso positivo de "spam".
Os casos-limite ficam perto da fronteira
Os classificadores cometem a maior parte dos erros em casos-limite: entradas incomuns que ficam perto da fronteira entre duas categorias. Um cachorrinho peludo compartilha características com gatos, um coelho fotografado com as orelhas abaixadas perde uma característica-chave, e uma foto escura e borrada esconde características de todas as categorias.
Casos-limite não são aleatórios. Se você consegue prever quais entradas ficam perto da fronteira, consegue prever onde o classificador vai ter dificuldade, e reunir exemplos melhores exatamente para esses casos.
- Um gato sem pelo, que não tem a textura de pelo de sempre.
- Um cachorro de fantasia, que esconde o formato dele.
- Uma foto tirada com pouquíssima luz, em que cores e bordas ficam pouco nítidas.
Ler uma matriz de confusão e depois melhorar o modelo
Uma matriz de confusão coloca os rótulos verdadeiros contra as previsões em uma grade. Os números na diagonal (gato verdadeiro previsto como gato) são acertos; os números fora da diagonal são erros, e cada célula fora da diagonal diz exatamente qual confusão aconteceu e com que frequência. Um número grande na célula "cachorro verdadeiro, previsto gato" quer dizer que cachorros são muito confundidos com gatos.
Assim que você enxerga o maior erro, dá para melhorar o modelo de propósito. O conserto mais comum é acrescentar mais e melhores exemplos do caso confuso, como mais fotos de cachorrinhos peludos, para o classificador aprender as características que os diferenciam. Você melhora onde a matriz aponta, e mede de novo.
- A célula "coelho verdadeiro, previsto gato" estar grande quer dizer que coelhos são chamados de gatos com frequência.
- Acrescentar fotos de coelho mais nítidas mira exatamente esse erro.
- Depois de um conserto, você confere de novo a acurácia e a matriz para confirmar que o erro diminuiu.
Worked example
De um erro confuso a um conserto direcionado
- Olhe a matriz de confusão e ache o maior número fora da diagonal: "coelho verdadeiro, previsto gato", com 9 erros.
- Diga o tipo de erro: para a categoria gato, são falsos positivos (chamados de gato, mas na verdade coelhos); para a categoria coelho, são falsos negativos (coelhos de verdade que passaram batido).
- Pergunte por quê: coelhos e gatos podem compartilhar textura de pelo e formas arredondadas, e coelhos com as orelhas abaixadas perdem a característica que os distingue; casos-limite clássicos.
- Proponha um conserto: acrescente mais fotos de coelho ao conjunto de treinamento, principalmente coelhos com orelhas abaixadas e em ângulos parecidos com os de gato, para o classificador aprender as diferenças.
- Meça de novo: teste outra vez e veja se a célula "coelho verdadeiro, previsto gato" diminuiu e se a acurácia de coelho subiu.
Takeaway: Ache o maior erro na matriz de confusão, diga de que tipo ele é, explique o caso-limite por trás dele, acrescente exemplos direcionados e meça de novo.
| Predicted | |||
|---|---|---|---|
| Actual | Cat | Dog | Coelho |
| Cat | 47 | 2 | 1 |
| Dog | 3 | 44 | 3 |
| Coelho | 9 | 4 | 37 |
Uma matriz de confusão 3 por 3 de um classificador de gato, cachorro e coelho no conjunto de teste. As linhas são o rótulo verdadeiro, as colunas são o rótulo previsto. Gatos verdadeiros: 47 previstos como gato, 2 como cachorro, 1 como coelho. Cachorros verdadeiros: 3 gato, 44 cachorro, 3 coelho. Coelhos verdadeiros: 9 gato, 4 cachorro, 37 coelho. A diagonal (47, 44, 37) são os acertos. O maior erro é o 9 na célula "coelho verdadeiro, previsto gato", mostrando que coelhos são confundidos sobretudo com gatos, a mesma categoria fraca do gráfico de acurácia.
As células da diagonal são acertos; o 9 em "coelho verdadeiro, previsto gato" é o maior erro a consertar.
Antes: o conjunto de treinamento tinha poucas fotos de coelhos com as orelhas abaixadas, então muitos desses coelhos eram previstos como gatos, e a acurácia de coelho ficava em 74 por cento. Depois: mais fotos de coelho foram acrescentadas, principalmente casos-limite com orelhas abaixadas e em ângulos parecidos com os de gato; o classificador aprendeu a diferença, os erros de "coelho verdadeiro, previsto gato" caíram, e a acurácia de coelho subiu. O conserto mirou exatamente o erro que a matriz de confusão apontava.
Acrescentar exemplos mirando a maior confusão é como se melhora de propósito.
Activity
Confunda e melhore
Tentar confundir o classificador com casos-limite, e depois melhorar um modelo fraco acrescentando algumas imagens de treinamento variadas e comparando o primeiro modelo com o melhorado.
- Part 1 — Confuse the model: predict what it will do on each tricky picture, run it, and see the source of the confusion.
- Part 2 — Improve it: a weak starter model has only ever seen circles and squares, never a triangle. Add a few varied pictures and retrain.
- Compare the first and improved models: what got fixed, what broke, and why.
Part 1 · Confuse the model
Each picture is a known edge case. Predict the model's answer first, then run it.
Geometric shapes: A square rotated 45 degrees, so it looks like a diamond.
Edge case: rotated
Geometric shapes: A circle with its right half hidden behind a block.
Edge case: obstructed
Geometric shapes: A square on a noisy, speckled background.
Edge case: unusual background
Geometric shapes: A blurred triangle with soft, fuzzy edges.
Edge case: blurred
Geometric shapes: A very small circle in the middle of the picture.
Edge case: very small
School supplies: A very thick pencil that looks more like a bar.
Edge case: shared features
Geometric shapes: A square with a small circle overlapping one corner.
Edge case: mixed category
Part 2 · Improve the model
The starter model has only ever seen circles and squares — it has never seen a triangle, so it misses every one. Add up to 4 more varied pictures (try some triangles!) and retrain to see if it improves.
Add pictures (0/4 used)
Add at least one picture to build an improved model.
Check your understanding
Responda a estas perguntas para conferir se você sabe ler os erros de um classificador e melhorá-lo.
Question 1. Que tipo de erro é este para a categoria "gato"?
Uma foto é na verdade de um coelho, mas o classificador prevê "gato".
Question 2. Quais destas são boas maneiras de reduzir um erro específico que a matriz de confusão revela? Escolha todas que se aplicam.
Select all that apply.
Question 3. Decida se a afirmação é verdadeira ou falsa.
Em uma matriz de confusão, os números da diagonal são as previsões corretas.
0 of 3 answered
Try it yourself
Cace a confusão
Escolha um par de categorias que você espera que um classificador confunda e planeje como acharia e consertaria essa confusão.
- Escolha duas categorias parecidas (por exemplo, bolinhos e cupcakes, ou lobos e cachorros).
- Descreva um caso-limite perto da fronteira e preveja se ele vira falso positivo ou falso negativo para cada categoria.
- Diga qual célula de uma matriz de confusão cresceria, e que exemplos você acrescentaria para diminuí-la.
Success looks like
- Um par confundível plausível, com um caso-limite na fronteira.
- O erro é corretamente enquadrado como falso positivo ou falso negativo.
- Um conserto direcionado, ligado a uma célula específica da matriz de confusão.
Reflection
Saved on this device as you type
Please don't include private information. Your answers are saved only in this browser and are never sent anywhere.
Recap
Uma matriz de confusão mostra exatamente quais categorias um classificador mistura, e os casos-limite explicam por quê; você melhora o modelo acrescentando exemplos direcionados e medindo de novo.
- Falsos positivos e falsos negativos são erros diferentes, com custos diferentes.
- Casos-limite perto da fronteira de uma categoria causam a maioria das confusões.
- Leia a matriz de confusão, acrescente exemplos para o maior erro, e meça de novo.
Grades 7–8 extension
Que erro você preferiria cometer?
Em muitos sistemas reais, não dá para eliminar todos os erros, então quem projeta escolhe para que tipo pender. Uma ferramenta de triagem médica pode aceitar mais falsos positivos (exames extras) para evitar falsos negativos (uma doença que passa despercebida), enquanto um filtro de spam pode aceitar mais falsos negativos (algum spam passa) para evitar falsos positivos (perder uma mensagem real).
Escolha um classificador real e defenda qual erro ele deveria evitar mais. Como quem o construiu poderia ajustar o modelo ou o limiar dele para trocar um tipo de erro pelo outro?
Finish this lesson
- Attempt the knowledge check — not done
- Save a reflection (recommended) — not done
Attempt the knowledge check to finish this lesson.