Semana 2 · Aula 2 · 45-55 minutos
Dados de treinamento contra dados de teste
Veja por que um modelo é ensinado com um conjunto de exemplos e conferido com outro, e como testar com exemplos nunca vistos mede se ele realmente aprendeu o padrão.
- Materiais
- Esta aula em um navegador web · Papel e lápis, ou um aplicativo de notas · O conjunto de dados de animais já incluído que aparece nesta aula
- Esta aula
- Em andamento
Salva sozinho neste aparelho
O que você vai conseguir fazer
- Explicar a diferença entre dados de treinamento e dados de teste.
- Descrever por que um modelo precisa ser testado com exemplos com que não aprendeu.
- Definir generalização e acurácia e ligá-las ao teste.
Para pensar
Um professor entrega uma folha de exercícios e depois aplica uma prova com exatamente as mesmas perguntas e respostas. Se todo mundo tirar 100 por cento, isso prova que aprenderam a matéria, ou só que decoraram aquelas respostas?
Guarde essa ideia: um modelo conferido com os mesmos exemplos com que aprendeu tem o mesmo problema.
Faça uma previsão
Preveja: se você testar um modelo só com os mesmos exemplos com que ele treinou, a nota dele vai dizer o quanto ele lida bem com exemplos totalmente novos?
Vocabulário
Ver todo o vocabulário do curso- Treinamento
- Mostrar a um modelo muitos exemplos rotulados para que ele aprenda o padrão que liga características a uma categoria.
- Teste
- Conferir um modelo com exemplos rotulados novos, com que ele não aprendeu, para ver o quanto ele realmente funciona.
- Dados de treinamento
- Os exemplos com que um modelo aprende durante o treinamento.
- Dados de teste
- Um conjunto separado de exemplos, guardado fora do treinamento, usado só para conferir o modelo.
- Generalização
- O quanto um modelo funciona bem com exemplos novos que nunca viu, e não só com aqueles com que aprendeu.
- Acurácia
- A proporção de exemplos de teste que um modelo rotula corretamente, muitas vezes escrita como fração ou porcentagem.
Treinamento: aprender o padrão a partir de exemplos
O treinamento é a etapa em que um modelo olha muitos exemplos rotulados e aprende um padrão que liga características a categorias. Os exemplos usados para isso são os dados de treinamento.
Durante o treinamento, o modelo pode ver tanto as características quanto o rótulo correto de cada exemplo, então ele consegue se ajustar até que os palpites dele passem a bater com os rótulos.
- Mostrar a um modelo 100 linhas rotuladas de animais para que ele aprenda que "ter asas geralmente quer dizer ave"
- Alimentar um filtro de spam com milhares de e-mails já marcados como spam ou não
Teste: uma conferência justa com exemplos nunca vistos
Se você só conferisse um modelo com os mesmos exemplos com que ele aprendeu, ele poderia simplesmente repetir respostas que já decorou, como um aluno que responde exatamente à folha de exercícios que estudou. Isso não provaria que ele aprendeu nada útil.
Por isso guardamos alguns exemplos como dados de teste. O modelo nunca treina com eles. Testar significa rodar o modelo nesse conjunto separado e nunca visto e comparar os palpites dele com os rótulos verdadeiros. Essa é uma conferência justa do que ele realmente aprendeu.
- Guardar 20 linhas de animais; treinar com as outras 80; depois testar com as 20 linhas guardadas
- Uma folha de exercícios para estudar e uma prova separada para ser avaliado
Generalização e acurácia
Generalização é o quanto um modelo se sai bem com exemplos novos que nunca viu. Um modelo que generaliza bem aprendeu o padrão de verdade, e não apenas as linhas exatas do treinamento. Testar com dados nunca vistos é como medimos a generalização.
Acurácia é uma nota simples dessa conferência: de todos os exemplos de teste, que proporção o modelo rotulou corretamente? Se ele rotula 18 de 20 animais de teste certo, a acurácia dele é 18/20, ou seja, 90 por cento. Acurácia alta em dados de teste nunca vistos é o sinal de que um modelo realmente generaliza.
- 16 de 20 exemplos de teste corretos → acurácia de 80 por cento
- Um modelo com nota alta nas linhas de treinamento mas baixa nas de teste não generalizou
Exemplo resolvido
Dividindo 20 animais em treinamento e teste
- Comece com um conjunto de dados de 20 animais rotulados (cada linha tem características e um rótulo "ave" ou "não é ave").
- Divida: ponha 15 linhas no conjunto de treinamento e guarde 5 linhas como conjunto de teste.
- Treine: deixe o modelo aprender o padrão usando só as 15 linhas de treinamento.
- Teste: mostre ao modelo as 5 linhas guardadas sem os rótulos delas e anote os palpites dele.
- Calcule a acurácia: compare os 5 palpites dele com os rótulos verdadeiros. Se 4 estiverem certos, a acurácia é 4/5, ou seja, 80 por cento, uma medida do quanto ele generaliza.
O essencial: Treine com uma parte dos dados, teste com uma parte guardada, e meça a acurácia na parte nunca vista para julgar a generalização.
Duas etapas. Etapa 1 (Treinamento): os dados de treinamento, a maior parte das linhas, entram no modelo, que aprende um padrão. Etapa 2 (Teste): entram os dados de teste guardados, que o modelo nunca viu; os palpites dele são comparados aos rótulos verdadeiros para obter uma nota de acurácia. O ponto central: as linhas de teste ficam completamente separadas do treinamento.
O modelo aprende com os dados de treinamento e é avaliado com dados de teste separados.
Os valores estão em % de acertos.
Um gráfico de barras comparando a acurácia de um mesmo modelo nos dados com que ele treinou e em dados de teste nunca vistos, medida em porcentagem. Barra 1, "Nos dados de treinamento", 98 por cento. Barra 2, "Em dados de teste nunca vistos", 82 por cento. A nota do teste é a medida honesta do quanto o modelo generaliza; uma barra de teste bem mais baixa avisa que o modelo em boa parte decorou.
Atividade
Treine, teste e mude os dados
Dividir um conjunto de dados de frutas espaciais em treinamento e teste, rodar um modelo transparente e depois experimentar como dados equilibrados, desequilibrados e mal rotulados mudam os resultados.
- Divida as 16 frutas em um conjunto de treino (para aprender) e um de teste (guardado para checar o modelo).
- Cada fruta vai em um único conjunto. Deixe algumas de cada categoria no conjunto de teste.
- Rode o modelo, veja o acerto e depois experimente os três testes de dados abaixo.
Atribua cada fruta
Conjunto de treino
12
Pode: 6 · Não pode: 6
Conjunto de teste (guardado)
4
Pode: 2 · Não pode: 2
| Fruta | Rótulo correto | Em qual conjunto? |
|---|---|---|
| Baga-da-auroraUma fruta carmesim de formato redondo, de 10 cm, com casca lisa e 6 sementes, doçura 8 de 10, nível de brilho 0 de 5, que cresce em a copa da mata. | Pode | |
| Ameixa-de-areiaUma fruta âmbar de formato oval, de 8 cm, com casca cheia de bolinhas e 4 sementes, doçura 7 de 10, nível de brilho 1 de 5, que cresce em uma duna. | Pode | |
| Fruta-da-maréUma fruta verde-azulado de formato redondo, de 12 cm, com casca aveludada e 8 sementes, doçura 9 de 10, nível de brilho 0 de 5, que cresce em um recife. | Pode | |
| Pera-brasaUma fruta carmesim de formato oval, de 9 cm, com casca lisa e 5 sementes, doçura 6 de 10, nível de brilho 2 de 5, que cresce em a copa da mata. | Pode | |
| Gota-de-dunaUma fruta âmbar de formato redondo, de 7 cm, com casca cheia de bolinhas e 3 sementes, doçura 7 de 10, nível de brilho 1 de 5, que cresce em uma duna. | Pode | |
| Figo-de-copaUma fruta verde-azulado de formato oval, de 11 cm, com casca aveludada e 7 sementes, doçura 8 de 10, nível de brilho 0 de 5, que cresce em a copa da mata. | Pode | |
| Abóbora-vermelhaUma fruta carmesim de formato redondo, de 10 cm, com casca lisa e 6 sementes, doçura 5 de 10, nível de brilho 2 de 5, que cresce em uma duna. | Pode | |
| Ameixa-de-recifeUma fruta âmbar de formato oval, de 8 cm, com casca aveludada e 4 sementes, doçura 9 de 10, nível de brilho 1 de 5, que cresce em um recife. | Pode | |
| Fulgor-estelarUma fruta violeta de formato de estrela, de 5 cm, com casca espinhosa e 2 sementes, doçura 3 de 10, nível de brilho 4 de 5, que cresce em uma cratera. | Não pode | |
| Espiral-luminosaUma fruta azul-celeste de formato de espiral, de 4 cm, com casca cheia de bolinhas e 1 sementes, doçura 2 de 10, nível de brilho 5 de 5, que cresce em uma caverna. | Não pode | |
| Estrela-brilhanteUma fruta violeta de formato de estrela, de 6 cm, com casca lisa e 0 sementes, doçura 4 de 10, nível de brilho 3 de 5, que cresce em uma cratera. | Não pode | |
| Estrela-de-espinhosUma fruta azul-celeste de formato de estrela, de 5 cm, com casca espinhosa e 3 sementes, doçura 2 de 10, nível de brilho 2 de 5, que cresce em uma caverna. | Não pode | |
| Espiral-de-espinhosUma fruta violeta de formato de espiral, de 4 cm, com casca espinhosa e 1 sementes, doçura 3 de 10, nível de brilho 1 de 5, que cresce em uma cratera. | Não pode | |
| Brilho-de-cavernaUma fruta azul-celeste de formato de estrela, de 7 cm, com casca cheia de bolinhas e 2 sementes, doçura 1 de 10, nível de brilho 4 de 5, que cresce em uma caverna. | Não pode | |
| Estrela-do-vazioUma fruta violeta de formato de espiral, de 5 cm, com casca lisa e 0 sementes, doçura 3 de 10, nível de brilho 5 de 5, que cresce em uma cratera. | Não pode | |
| Estrela-farpaUma fruta azul-celeste de formato de estrela, de 6 cm, com casca espinhosa e 4 sementes, doçura 2 de 10, nível de brilho 3 de 5, que cresce em uma caverna. | Não pode |
Experimento: mude os dados e mantenha o teste igual
Cada experimento treina com uma versão diferente dos dados e é checado com as mesmas 8 frutas de teste guardadas. Preveja o que vai acontecer e depois rode.
A · Dados equilibrados e corretos
Todos os 24 exemplos, divididos igualmente entre pode e não pode, com todos os rótulos certos. Este é o ponto de partida justo.
Escreva uma previsão primeiro.
B · Dados desequilibrados
Todos os exemplos que podem ser comidos, mas só 2 que não podem, então o modelo quase não vê essa categoria.
Escreva uma previsão primeiro.
C · Dados com rótulos errados
Os mesmos 24 exemplos, mas 5 deles tiveram o rótulo trocado pela resposta errada.
Escreva uma previsão primeiro.
Este é um modelo de sala simplificado (k vizinhos mais próximos). Ele compara uma fruta nova com as frutas de treino mais parecidas e copia o rótulo mais comum. Sistemas de IA reais são bem maiores, mas as mesmas ideias sobre bons dados continuam valendo. A regra inventada é: Uma fruta espacial não pode ser comida se brilha muito (nível de brilho 3 ou mais) OU se é espinhosa. Fora isso, pode comer.
Confira o que você entendeu
Responda a estas perguntas para conferir se você entendeu treinamento, teste e acurácia.
Question 1. Por que testamos um modelo com exemplos com que ele não treinou?
Question 2. O resultado de quem é uma medida justa de aprendizado?
Ava estuda uma folha de exercícios e depois é avaliada com perguntas totalmente novas do mesmo tipo. Ben estuda uma folha de exercícios e depois é avaliado com exatamente as mesmas perguntas, com as respostas que ele já viu durante o estudo.
Question 3. Um modelo rotula corretamente 15 de 20 exemplos de teste. Qual é a acurácia dele?
0 de 3 respondidas
Experimente você
Planeje um teste justo
Monte um plano justo de treinamento e teste para um modelo que separa mensagens em "pergunta" ou "não é pergunta".
- Decida quantas mensagens de exemplo você reuniria no total.
- Escolha como dividi-las em um conjunto de treinamento e um de teste, e diga por quê.
- Explique como você calcularia a acurácia a partir dos resultados do teste.
Você conseguiu quando
- Um número total claro de exemplos e uma divisão entre treinamento e teste.
- Um motivo para o conjunto de teste ficar separado do treinamento.
- Uma descrição correta de como a acurácia seria medida.
Reflexão
Salva neste aparelho enquanto você escreve
Por favor, não inclua informações privadas. As suas respostas ficam salvas só neste navegador e nunca são enviadas para lugar nenhum.
Recapitulando
Os modelos treinam com um conjunto de exemplos e são testados com um conjunto separado e nunca visto; a acurácia nesses dados de teste mede o quanto o modelo generaliza.
- Os dados de treinamento ensinam o modelo; os dados de teste o conferem.
- As linhas de teste precisam ficar guardadas e nunca ser vistas durante o treinamento.
- Generalizar é ir bem com exemplos novos; acurácia é a proporção de exemplos de teste rotulados corretamente.
Extensão para o 7.º e 8.º ano
Quando o treinamento parece ótimo mas o teste parece ruim
Às vezes um modelo tira uma nota quase perfeita nos dados de treinamento, mas vai mal nos dados de teste. Isso normalmente quer dizer que ele decorou as linhas exatas do treinamento em vez de aprender o padrão geral.
Descreva um caso em que isso poderia acontecer, por exemplo, um modelo que decorou frutas específicas pelo peso exato delas. O que você poderia mudar nos dados ou na divisão para ter um retrato mais honesto de como ele vai se sair?
Termine esta aula
- Attempt the knowledge check: não feito
- Save a reflection (recommended): não feito
Faça a checagem de conhecimentos para terminar esta aula.