Semana 3 · Aula 2 · 45-55 minutos
Treine e teste um classificador
Aprenda por que um classificador é conferido com fotos com que ele nunca treinou, e meça o quanto ele se sai bem usando a acurácia em um conjunto de teste justo.
- Materiais
- Esta aula em um navegador web · Papel e lápis, ou um aplicativo de notas · O conjunto de teste rotulado já incluído que aparece na aula
- Esta aula
- Em andamento
Salva sozinho neste aparelho
O que você vai conseguir fazer
- Explicar por que um classificador é testado com fotos separadas, com que ele não treinou.
- Calcular a acurácia como previsões corretas sobre o total de previsões.
- Ler a acurácia por categoria e perceber qual categoria é a mais fraca.
- Explicar por que um único número de acurácia geral pode esconder uma categoria fraca.
Para pensar
Um classificador acerta absolutamente todas as fotos de treinamento. Quem o construiu diz que ele é "perfeito". Depois ele encontra fotos totalmente novas e erra várias. O que deu errado no jeito como o mediram?
Pense na diferença entre decorar as respostas e realmente aprender o padrão.
Faça uma previsão
Preveja: se um classificador tira 90% de acurácia geral com gatos, cachorros e coelhos, você acha que ele vai igualmente bem nas três categorias?
Vocabulário
Ver todo o vocabulário do curso- Acurácia
- Com que frequência um classificador acerta, normalmente o número de previsões corretas dividido pelo total de previsões, mostrado como porcentagem.
- Acurácia por categoria
- A acurácia medida separadamente para cada categoria, para você ver quais o classificador domina e com quais ele tem dificuldade.
- Conjunto de teste
- Um grupo de fotos rotuladas guardado à parte e nunca usado no treinamento, que serve para conferir com justiça o quanto o classificador se sai bem com imagens novas.
- Conjunto de treinamento
- As fotos rotuladas com que o classificador aprende os padrões dele antes de ser testado.
Por que testar com fotos com que o classificador nunca treinou
Um classificador aprende com um conjunto de treinamento. Se você depois o testa com essas mesmas fotos, ele pode parecer ótimo só por tê-las decorado, como um aluno que viu antes as questões exatas da prova. Essa nota não diria como ele se sai com fotos novas.
Por isso guardamos um conjunto de teste separado: fotos rotuladas mantidas à parte e nunca usadas no treinamento. Testar com fotos novas para o classificador é o jeito justo de medir se ele realmente aprendeu o padrão.
- Treinar com 800 fotos de bichos de estimação e depois testar com 200 fotos diferentes.
- Nota alta no treinamento junto com nota baixa no teste é um sinal de alerta de que ele decorou.
- As fotos de teste também precisam estar rotuladas, para você conferir cada previsão.
Acurácia: com que frequência o classificador acerta
A acurácia é a nota mais simples: o número de previsões corretas dividido pelo total de previsões, escrito como porcentagem. Se o classificador acerta 90 de 100 fotos de teste, a acurácia dele é 90%.
A acurácia é fácil de entender, e é por isso que ela é tão comum. Mas um único número cobre tudo de uma vez, então ele pode esconder problemas, e é aí que entra a acurácia por categoria.
- 45 acertos em 50 fotos dá 90% de acurácia.
- Dois classificadores podem ter a mesma acurácia e cometer erros bem diferentes.
- A acurácia só faz sentido em um conjunto rotulado, em que você conhece as respostas certas.
A acurácia por categoria conta a história completa
A acurácia por categoria mede a nota de cada categoria sozinha. A acurácia geral pode ser 90%, mas o classificador pode acertar gatos 98% das vezes e coelhos só 74%. O número geral silenciosamente diluiu a categoria fraca na média.
Abrir a acurácia por categoria mostra exatamente onde melhorar. Costuma ser o primeiro passo para descobrir qual categoria o classificador confunde, o tema da próxima aula.
- Geral 90%, mas gatos 98%, cachorros 92%, coelhos 74%.
- Uma categoria fraca pode ficar escondida se tiver poucas fotos no conjunto de teste.
- Consertar a categoria mais fraca costuma ser o que mais aumenta a acurácia geral.
Exemplo resolvido
Medindo com justiça um classificador de bichos de estimação
- Divida as fotos: 800 vão para o conjunto de treinamento e outras 200, diferentes, para o conjunto de teste.
- Treine: o classificador aprende os padrões de gato, cachorro e coelho só com as 800 fotos de treinamento.
- Teste: passe todas as 200 fotos guardadas e compare cada previsão com o rótulo verdadeiro.
- Acurácia geral: 180 das 200 estavam corretas, então 180 ÷ 200 = 90% de acurácia.
- Por categoria: gatos 98%, cachorros 92%, coelhos 74%. Os coelhos estão puxando tudo para baixo, mesmo que os 90% gerais parecessem sólidos.
O essencial: Teste com fotos guardadas, calcule a acurácia como acertos sobre o total, e depois abra por categoria para achar o ponto fraco que o número geral esconde.
Os valores estão em % de acurácia.
Um gráfico de barras da acurácia por categoria, em porcentagem, no conjunto de teste de 200 fotos. Gatos estão em 98 por cento, cachorros em 92 por cento e coelhos em apenas 74 por cento. Uma linha tracejada de referência marca os 90 por cento de acurácia geral. O gráfico deixa evidente que os coelhos são a categoria mais fraca e estão puxando a nota geral para baixo, mesmo que o número geral sozinho parecesse sólido.
Os 90% gerais escondem que os coelhos estão bem mais fracos que gatos e cachorros.
Antes (injusto): o classificador é testado com exatamente as mesmas fotos com que treinou, então ele pode tirar nota alta só por tê-las decorado, e essa nota não prevê como ele lida com fotos novas. Depois (justo): as fotos são divididas para que treinamento e teste usem fotos diferentes; o classificador é avaliado só com fotos que nunca viu no treinamento, o que mostra se ele realmente aprendeu o padrão.
Testar com fotos novas para o classificador é o que torna a nota confiável.
Atividade
Treine e teste um classificador
Escolher um tema, selecionar as imagens de treinamento, treinar de verdade um classificador no seu aparelho, e ler acurácia geral, acurácia por categoria e uma matriz de confusão em imagens nunca vistas.
- Escolha um tema e leia as categorias.
- Escolha com quais imagens treinar (pelo teclado ou tocando) e observe as contagens por categoria.
- Preveja qual categoria será a mais fácil e a mais difícil, treine e depois leia os resultados, a matriz de confusão e o acerto por categoria.
2 · Categorias
- Círculo
- Uma forma redonda sem cantos.
- Triângulo
- Uma forma com três lados retos e três cantos.
- Quadrado
- Uma forma com quatro lados retos iguais e quatro cantos.
Este modelo de sala é um classificador de vizinhos mais próximos sobre características simples de forma: roda inteiro no seu aparelho, sem câmera, sem internet e sem nenhum serviço grande de IA. Ele é simples de propósito, então comete o mesmo tipo de erro que você consegue ver e explicar aqui.
Confira o que você entendeu
Responda a estas perguntas para conferir se você sabe medir um classificador com justiça usando a acurácia.
Question 1. Um classificador acerta 45 de 50 fotos de teste. Qual é a acurácia dele?
Question 2. Qual classificador foi medido de um jeito justo?
A equipe A testa o classificador dela com exatamente as mesmas 500 fotos com que ele treinou e informa 99%. A equipe B guarda 100 fotos, treina com o resto, e testa só com as 100 guardadas.
Question 3. Decida se a afirmação é verdadeira ou falsa.
Um único número de acurácia geral pode esconder que o classificador vai mal em uma categoria específica.
0 de 3 respondidas
Experimente você
Divida com justiça
Monte um plano justo de treino e teste para um classificador que separa fotos de três tipos de fruta, e descreva o que você mediria.
- Decida quantas fotos vão para o conjunto de treinamento e quantas ficam guardadas para o conjunto de teste.
- Explique por que as fotos de teste não podem ser usadas durante o treinamento.
- Liste os números de acurácia que você informaria: a acurácia geral e a acurácia de cada fruta.
Você conseguiu quando
- Uma divisão clara das fotos em grupos de treinamento e de teste.
- Um motivo para as fotos de teste ficarem fora do treinamento.
- A acurácia geral e a acurácia por categoria são ambas apontadas como coisas a informar.
Reflexão
Salva neste aparelho enquanto você escreve
Por favor, não inclua informações privadas. As suas respostas ficam salvas só neste navegador e nunca são enviadas para lugar nenhum.
Recapitulando
Um classificador é medido com justiça em um conjunto de teste guardado usando a acurácia, e abrir a acurácia por categoria revela pontos fracos que o número geral esconde.
- Teste com um conjunto separado de fotos com que o classificador nunca treinou.
- Acurácia é previsões corretas divididas pelo total de previsões.
- A acurácia por categoria mostra qual categoria é a mais fraca, mesmo quando a nota geral parece sólida.
Extensão para o 7.º e 8.º ano
Quando a acurácia pode enganar
Imagine um conjunto de teste que é 95% gatos e só 5% coelhos. Um classificador preguiçoso que chutasse "gato" todas as vezes tiraria 95% de acurácia errando todos os coelhos. A acurácia alta esconde um fracasso total com os coelhos.
Explique por que a mistura de categorias em um conjunto de teste importa. O que você poderia medir ou mudar para que um classificador não consiga "trapacear" ignorando uma categoria rara?
Termine esta aula
- Attempt the knowledge check: não feito
- Save a reflection (recommended): não feito
Faça a checagem de conhecimentos para terminar esta aula.