Week 3 · Lesson 2 · 45-55 minutos
Treine e teste um classificador
Aprenda por que um classificador é conferido com fotos com que ele nunca treinou, e meça o quanto ele se sai bem usando a acurácia em um conjunto de teste justo.
- Materials
- Esta aula em um navegador web · Papel e lápis, ou um aplicativo de notas · O conjunto de teste rotulado já incluído que aparece na aula
- This lesson
- In progress
Auto-saves on this device
What you'll be able to do
- Explicar por que um classificador é testado com fotos separadas, com que ele não treinou.
- Calcular a acurácia como previsões corretas sobre o total de previsões.
- Ler a acurácia por categoria e perceber qual categoria é a mais fraca.
- Explicar por que um único número de acurácia geral pode esconder uma categoria fraca.
Think about it
Um classificador acerta absolutamente todas as fotos de treinamento. Quem o construiu diz que ele é "perfeito". Depois ele encontra fotos totalmente novas e erra várias. O que deu errado no jeito como o mediram?
Pense na diferença entre decorar as respostas e realmente aprender o padrão.
Make a prediction
Preveja: se um classificador tira 90% de acurácia geral com gatos, cachorros e coelhos, você acha que ele vai igualmente bem nas três categorias?
Vocabulary
See the full course vocabulary- Acurácia
- Com que frequência um classificador acerta, normalmente o número de previsões corretas dividido pelo total de previsões, mostrado como porcentagem.
- Acurácia por categoria
- A acurácia medida separadamente para cada categoria, para você ver quais o classificador domina e com quais ele tem dificuldade.
- Conjunto de teste
- Um grupo de fotos rotuladas guardado à parte e nunca usado no treinamento, que serve para conferir com justiça o quanto o classificador se sai bem com imagens novas.
- Conjunto de treinamento
- As fotos rotuladas com que o classificador aprende os padrões dele antes de ser testado.
Por que testar com fotos com que o classificador nunca treinou
Um classificador aprende com um conjunto de treinamento. Se você depois o testa com essas mesmas fotos, ele pode parecer ótimo só por tê-las decorado, como um aluno que viu antes as questões exatas da prova. Essa nota não diria como ele se sai com fotos novas.
Por isso guardamos um conjunto de teste separado: fotos rotuladas mantidas à parte e nunca usadas no treinamento. Testar com fotos novas para o classificador é o jeito justo de medir se ele realmente aprendeu o padrão.
- Treinar com 800 fotos de bichos de estimação e depois testar com 200 fotos diferentes.
- Nota alta no treinamento junto com nota baixa no teste é um sinal de alerta de que ele decorou.
- As fotos de teste também precisam estar rotuladas, para você conferir cada previsão.
Acurácia: com que frequência o classificador acerta
A acurácia é a nota mais simples: o número de previsões corretas dividido pelo total de previsões, escrito como porcentagem. Se o classificador acerta 90 de 100 fotos de teste, a acurácia dele é 90%.
A acurácia é fácil de entender, e é por isso que ela é tão comum. Mas um único número cobre tudo de uma vez, então ele pode esconder problemas, e é aí que entra a acurácia por categoria.
- 45 acertos em 50 fotos dá 90% de acurácia.
- Dois classificadores podem ter a mesma acurácia e cometer erros bem diferentes.
- A acurácia só faz sentido em um conjunto rotulado, em que você conhece as respostas certas.
A acurácia por categoria conta a história completa
A acurácia por categoria mede a nota de cada categoria sozinha. A acurácia geral pode ser 90%, mas o classificador pode acertar gatos 98% das vezes e coelhos só 74%. O número geral silenciosamente diluiu a categoria fraca na média.
Abrir a acurácia por categoria mostra exatamente onde melhorar. Costuma ser o primeiro passo para descobrir qual categoria o classificador confunde, o tema da próxima aula.
- Geral 90%, mas gatos 98%, cachorros 92%, coelhos 74%.
- Uma categoria fraca pode ficar escondida se tiver poucas fotos no conjunto de teste.
- Consertar a categoria mais fraca costuma ser o que mais aumenta a acurácia geral.
Worked example
Medindo com justiça um classificador de bichos de estimação
- Divida as fotos: 800 vão para o conjunto de treinamento e outras 200, diferentes, para o conjunto de teste.
- Treine: o classificador aprende os padrões de gato, cachorro e coelho só com as 800 fotos de treinamento.
- Teste: passe todas as 200 fotos guardadas e compare cada previsão com o rótulo verdadeiro.
- Acurácia geral: 180 das 200 estavam corretas, então 180 ÷ 200 = 90% de acurácia.
- Por categoria: gatos 98%, cachorros 92%, coelhos 74%. Os coelhos estão puxando tudo para baixo, mesmo que os 90% gerais parecessem sólidos.
Takeaway: Teste com fotos guardadas, calcule a acurácia como acertos sobre o total, e depois abra por categoria para achar o ponto fraco que o número geral esconde.
Values shown in % de acurácia.
Um gráfico de barras da acurácia por categoria, em porcentagem, no conjunto de teste de 200 fotos. Gatos estão em 98 por cento, cachorros em 92 por cento e coelhos em apenas 74 por cento. Uma linha tracejada de referência marca os 90 por cento de acurácia geral. O gráfico deixa evidente que os coelhos são a categoria mais fraca e estão puxando a nota geral para baixo, mesmo que o número geral sozinho parecesse sólido.
Os 90% gerais escondem que os coelhos estão bem mais fracos que gatos e cachorros.
Antes (injusto): o classificador é testado com exatamente as mesmas fotos com que treinou, então ele pode tirar nota alta só por tê-las decorado, e essa nota não prevê como ele lida com fotos novas. Depois (justo): as fotos são divididas para que treinamento e teste usem fotos diferentes; o classificador é avaliado só com fotos que nunca viu no treinamento, o que mostra se ele realmente aprendeu o padrão.
Testar com fotos novas para o classificador é o que torna a nota confiável.
Activity
Treine e teste um classificador
Escolher um tema, selecionar as imagens de treinamento, treinar de verdade um classificador no seu aparelho, e ler acurácia geral, acurácia por categoria e uma matriz de confusão em imagens nunca vistas.
- Pick a topic and read the categories.
- Choose which pictures to train on (keyboard or tap), and watch the per-category counts.
- Predict the easiest and hardest category, train, then read the results, confusion matrix, and category accuracy.
2 · Categories
- Circle
- A round shape with no corners.
- Triangle
- A shape with three straight sides and three corners.
- Square
- A shape with four equal straight sides and four corners.
This classroom model is a nearest-neighbor classifier over simple shape features — it runs fully on your device with no camera, internet, or big AI service. It is deliberately simple, so it makes the same kinds of mistakes you can see and explain here.
Check your understanding
Responda a estas perguntas para conferir se você sabe medir um classificador com justiça usando a acurácia.
Question 1. Um classificador acerta 45 de 50 fotos de teste. Qual é a acurácia dele?
Question 2. Qual classificador foi medido de um jeito justo?
A equipe A testa o classificador dela com exatamente as mesmas 500 fotos com que ele treinou e informa 99%. A equipe B guarda 100 fotos, treina com o resto, e testa só com as 100 guardadas.
Question 3. Decida se a afirmação é verdadeira ou falsa.
Um único número de acurácia geral pode esconder que o classificador vai mal em uma categoria específica.
0 of 3 answered
Try it yourself
Divida com justiça
Monte um plano justo de treino e teste para um classificador que separa fotos de três tipos de fruta, e descreva o que você mediria.
- Decida quantas fotos vão para o conjunto de treinamento e quantas ficam guardadas para o conjunto de teste.
- Explique por que as fotos de teste não podem ser usadas durante o treinamento.
- Liste os números de acurácia que você informaria: a acurácia geral e a acurácia de cada fruta.
Success looks like
- Uma divisão clara das fotos em grupos de treinamento e de teste.
- Um motivo para as fotos de teste ficarem fora do treinamento.
- A acurácia geral e a acurácia por categoria são ambas apontadas como coisas a informar.
Reflection
Saved on this device as you type
Please don't include private information. Your answers are saved only in this browser and are never sent anywhere.
Recap
Um classificador é medido com justiça em um conjunto de teste guardado usando a acurácia, e abrir a acurácia por categoria revela pontos fracos que o número geral esconde.
- Teste com um conjunto separado de fotos com que o classificador nunca treinou.
- Acurácia é previsões corretas divididas pelo total de previsões.
- A acurácia por categoria mostra qual categoria é a mais fraca, mesmo quando a nota geral parece sólida.
Grades 7–8 extension
Quando a acurácia pode enganar
Imagine um conjunto de teste que é 95% gatos e só 5% coelhos. Um classificador preguiçoso que chutasse "gato" todas as vezes tiraria 95% de acurácia errando todos os coelhos. A acurácia alta esconde um fracasso total com os coelhos.
Explique por que a mistura de categorias em um conjunto de teste importa. O que você poderia medir ou mudar para que um classificador não consiga "trapacear" ignorando uma categoria rara?
Finish this lesson
- Attempt the knowledge check — not done
- Save a reflection (recommended) — not done
Attempt the knowledge check to finish this lesson.