Semana 3 · Lección 3 · 50-60 minutos
Confunde y mejora el modelo
Encuentra los casos límite que engañan a un clasificador, lee sus errores en una matriz de confusión y propón cambios que lo hagan mejor.
- Materiales
- Esta lección en un navegador web · Papel y lápiz, o una app de notas · El conjunto de errores y la matriz de confusión incluidos que aparecen en la lección
- Esta lección
- En curso
Se guarda solo en este dispositivo
Lo que vas a poder hacer
- Distinguir un falso positivo de un falso negativo para una categoría.
- Identificar los casos límite que probablemente confundan a un clasificador.
- Leer una matriz de confusión para ver qué categorías se confunden entre sí.
- Proponer un cambio, como agregar ejemplos, que reduzca un error concreto.
Para pensar
Un clasificador de mascotas insiste en llamar "gato" a un perrito peludo específico. Y está seguro cada vez. ¿Es pura mala suerte, o podría haber un patrón en sus errores que sí puedas encontrar y arreglar?
Esta lección trata de hallar el patrón de los errores de un clasificador, no solo de notar que los comete.
Haz una predicción
Predice: en un clasificador de gato, perro y conejo, ¿qué dos categorías crees que se confunden más entre sí, y por qué?
Vocabulario
Ver todo el vocabulario del curso- Falso positivo
- Cuando el clasificador dice que algo SÍ pertenece a una categoría y no es así; por ejemplo, llamar "gato" a una foto que en realidad es de un perro.
- Falso negativo
- Cuando el clasificador dice que algo NO pertenece a una categoría y en realidad sí; por ejemplo, dejar pasar un gato de verdad y llamarlo perro.
- Caso límite
- Una entrada rara o difícil, cerca de la frontera entre categorías, como un perro peludo que se parece un poco a un gato, y que es fácil de fallar.
- Matriz de confusión
- Una tabla que alinea las etiquetas verdaderas contra las predicciones del clasificador, para que veas exactamente qué categorías se confunden y con qué frecuencia.
Falsos positivos y falsos negativos
No todos los errores son iguales. Un falso positivo de "gato" es cuando el clasificador dice "gato" pero la foto no es de un gato. Un falso negativo de "gato" es cuando la foto sí es de un gato pero el clasificador dice que es otra cosa. Toda categoría tiene los dos tipos.
La diferencia importa porque los dos errores pueden tener costos muy distintos. No detectar una alarma de incendio real (un falso negativo) podría ser mucho más grave que una falsa alarma (un falso positivo), así que a la gente muchas veces le importa qué tipo de error comete un sistema.
- Falso positivo de "gato": la foto de un conejo etiquetada como "gato".
- Falso negativo de "gato": la foto de un gato de verdad etiquetada como "perro".
- Que un filtro de spam marque un mensaje real como spam es un falso positivo de "spam".
Los casos límite están cerca de la frontera
Los clasificadores cometen la mayoría de sus errores en casos límite: entradas raras que están cerca de la frontera entre dos categorías. Un perrito peludo comparte características con los gatos, un conejo fotografiado con las orejas hacia abajo pierde una característica clave, y una foto oscura y borrosa esconde las características de todas las categorías.
Los casos límite no son al azar. Si puedes predecir qué entradas están cerca de la frontera, puedes predecir dónde va a batallar el clasificador, y reunir mejores ejemplos justo para esos casos.
- Un gato sin pelo, al que le falta la textura de pelaje habitual.
- Un perro con un disfraz que esconde su forma.
- Una foto tomada con muy poca luz, donde los colores y los bordes no se ven claros.
Leer una matriz de confusión y después mejorar el modelo
Una matriz de confusión coloca las etiquetas verdaderas frente a las predicciones en una cuadrícula. Los números de la diagonal (gato verdadero predicho como gato) son aciertos; los números fuera de la diagonal son errores, y cada celda fuera de la diagonal te dice exactamente qué confusión ocurrió y con qué frecuencia. Un número grande en la celda "perro verdadero, predicho gato" significa que a los perros se les confunde seguido con gatos.
Una vez que ves el error más grande, puedes mejorar el modelo a propósito. El arreglo más común es agregar más y mejores ejemplos del caso confuso, como más fotos de perritos peludos, para que el clasificador aprenda las características que los distinguen. Mejoras donde apunta la matriz y vuelves a medir.
- Que la celda "conejo verdadero, predicho gato" sea grande significa que a los conejos se les llama gatos muy seguido.
- Agregar fotos de conejos más claras ataca justo ese error.
- Después de un arreglo, vuelves a revisar la exactitud y la matriz para confirmar que el error se redujo.
Ejemplo resuelto
De un error confuso a un arreglo dirigido
- Mira la matriz de confusión y halla el número más grande fuera de la diagonal: "conejo verdadero, predicho gato", con 9 errores.
- Nombra el tipo de error: para la categoría gato son falsos positivos (los llamó gato, pero en realidad eran conejos); para la categoría conejo son falsos negativos (conejos de verdad que no detectó).
- Pregunta por qué: los conejos y los gatos pueden compartir textura de pelaje y formas redondeadas, y los conejos con las orejas hacia abajo pierden la característica que los distingue; casos límite clásicos.
- Propón un arreglo: agrega más fotos de conejos al conjunto de entrenamiento, sobre todo conejos con las orejas hacia abajo y en ángulos parecidos a los de un gato, para que el clasificador aprenda las diferencias.
- Vuelve a medir: prueba otra vez y revisa si la celda "conejo verdadero, predicho gato" se hizo más pequeña y si subió la exactitud de conejo.
Lo importante: Halla el error más grande de la matriz de confusión, nombra de qué tipo es, explica el caso límite que hay detrás, agrega ejemplos dirigidos y vuelve a medir.
| Predicho | |||
|---|---|---|---|
| Real | Cat | Dog | Conejo |
| Cat | 47 | 2 | 1 |
| Dog | 3 | 44 | 3 |
| Conejo | 9 | 4 | 37 |
Una matriz de confusión de 3 por 3 para un clasificador de gato, perro y conejo sobre el conjunto de prueba. Las filas son la etiqueta verdadera y las columnas la etiqueta predicha. Gatos verdaderos: 47 predichos como gato, 2 como perro, 1 como conejo. Perros verdaderos: 3 gato, 44 perro, 3 conejo. Conejos verdaderos: 9 gato, 4 perro, 37 conejo. La diagonal (47, 44, 37) son los aciertos. El error más grande es el 9 de la celda "conejo verdadero, predicho gato", que muestra que a los conejos se les confunde sobre todo con gatos, la misma categoría débil de la gráfica de exactitud.
Las celdas de la diagonal son aciertos; el 9 de "conejo verdadero, predicho gato" es el error más grande por arreglar.
Antes: el conjunto de entrenamiento tenía pocas fotos de conejos con las orejas hacia abajo, así que muchos de esos conejos se predecían como gatos y la exactitud de conejo se quedaba en 74 por ciento. Después: se agregaron más fotos de conejos, sobre todo casos límite con las orejas hacia abajo y en ángulos parecidos a los de un gato; el clasificador aprendió la diferencia, los errores de "conejo verdadero, predicho gato" bajaron y la exactitud de conejo subió. El arreglo atacó justo el error que señalaba la matriz de confusión.
Agregar ejemplos apuntados a la confusión más grande es como se mejora a propósito.
Actividad
Confunde y mejora
Intentar confundir al clasificador con casos límite y luego mejorar un modelo débil agregando unas cuantas imágenes de entrenamiento variadas y comparando el primer modelo con el mejorado.
- Parte 1 — Confunde al modelo: predice qué va a hacer con cada imagen difícil, córrelo y observa de dónde viene la confusión.
- Parte 2 — Mejóralo: un modelo inicial débil solo ha visto círculos y cuadrados, nunca un triángulo. Agrega algunas imágenes variadas y vuelve a entrenar.
- Compara el primer modelo con el mejorado: qué se arregló, qué se rompió y por qué.
Parte 1 · Confunde al modelo
Cada imagen es un caso límite conocido. Primero predice la respuesta del modelo y después córrelo.
Geometric shapes: Un cuadrado girado 45 grados, así que parece un rombo.
Edge case: girado
Geometric shapes: Un círculo con la mitad derecha tapada por un bloque.
Edge case: tapado
Geometric shapes: Un cuadrado sobre un fondo ruidoso y lleno de puntitos.
Edge case: fondo poco común
Geometric shapes: Un triángulo borroso, con los bordes suaves y difusos.
Edge case: borroso
Geometric shapes: Un círculo muy pequeño en medio de la imagen.
Edge case: muy pequeño
School supplies: Un lápiz muy grueso que parece más una barra.
Edge case: características compartidas
Geometric shapes: Un cuadrado con un círculo pequeño encimado en una esquina.
Edge case: categoría mezclada
Parte 2 · Mejora el modelo
The starter model has only ever seen circles and squares — it has never seen a triangle, so it misses every one. Add up to 4 more varied pictures (try some triangles!) and retrain to see if it improves.
Add pictures (0/4 used)
Agrega al menos una imagen para construir un modelo mejorado.
Revisa lo que entendiste
Responde esto para comprobar que sabes leer los errores de un clasificador y mejorarlo.
Question 1. ¿Qué tipo de error es este para la categoría "gato"?
Una foto es en realidad de un conejo, pero el clasificador predice "gato".
Question 2. ¿Cuáles de estas son buenas formas de reducir un error concreto que revela una matriz de confusión? Elige todas las que correspondan.
Marca todas las que correspondan.
Question 3. Decide si la afirmación es verdadera o falsa.
En una matriz de confusión, los números de la diagonal son las predicciones correctas.
0 de 3 respondidas
Pruébalo tú
Caza la confusión
Elige un par de categorías que esperes que un clasificador confunda y planea cómo hallarías y arreglarías esa confusión.
- Elige dos categorías parecidas (por ejemplo, panquecitos y cupcakes, o lobos y perros).
- Describe un caso límite cerca de la frontera y predice si se convierte en falso positivo o falso negativo para cada categoría.
- Di qué celda de una matriz de confusión crecería, y qué ejemplos agregarías para reducirla.
Lo lograste cuando
- Un par confundible creíble, con un caso límite en la frontera.
- El error queda planteado correctamente como falso positivo o falso negativo.
- Un arreglo dirigido, ligado a una celda concreta de la matriz de confusión.
Reflexión
Se guarda en este dispositivo mientras escribes
Por favor no incluyas información privada. Tus respuestas se guardan solo en este navegador y nunca se envían a ningún lado.
Repaso
Una matriz de confusión muestra exactamente qué categorías confunde un clasificador, y los casos límite explican por qué; mejoras el modelo agregando ejemplos dirigidos y volviendo a medir.
- Los falsos positivos y los falsos negativos son errores distintos con costos distintos.
- Los casos límite cerca de la frontera de una categoría causan la mayoría de las confusiones.
- Lee la matriz de confusión, agrega ejemplos para el error más grande y vuelve a medir.
Extensión para 7.º y 8.º
¿Qué error preferirías cometer?
En muchos sistemas reales no puedes eliminar todos los errores, así que quienes los diseñan eligen hacia qué tipo inclinarse. Una herramienta de tamizaje médico podría aceptar más falsos positivos (revisiones de más) para evitar falsos negativos (una enfermedad que se pasa por alto), mientras que un filtro de spam podría aceptar más falsos negativos (que se cuele algo de spam) para evitar falsos positivos (perder un mensaje real).
Elige un clasificador real y argumenta qué error debería evitar más. ¿Cómo podrían sus creadores ajustar el modelo o su umbral para cambiar un tipo de error por el otro?
Termina esta lección
- Attempt the knowledge check: sin hacer
- Save a reflection (recommended): sin hacer
Haz la revisión de conocimientos para terminar esta lección.