Repara el conjunto de datos

Lo que vas a poder hacer

• Detectar los problemas comunes de los datos: duplicados, etiquetas incorrectas y categorías desequilibradas.
• Explicar cómo cada problema puede dañar la exactitud o la justicia de un modelo.
• Reparar un conjunto de datos pequeño para que sus ejemplos sean correctos y sus categorías estén equilibradas.

Para pensar

Un estudiante le está enseñando a un modelo a distinguir manzanas de plátanos. Su tabla tiene 18 manzanas y solo 2 plátanos, un plátano está copiado tres veces, y una manzana quedó etiquetada como "plátano" por error. ¿Qué podría salir mal cuando el modelo aprenda de esto?

Al terminar la lección vas a poder nombrar y arreglar los tres problemas.

Datos equilibrados

Un conjunto de datos donde cada categoría tiene una cantidad justa y más o menos igual de ejemplos, para que el modelo aprenda bien todas las categorías.

Duplicado

Un ejemplo que aparece más de una vez en un conjunto de datos, lo que puede hacer que el modelo se concentre de más en ese caso repetido.

Etiqueta incorrecta

Un ejemplo al que se le puso la respuesta equivocada, como un plátano etiquetado "manzana", lo que le enseña al modelo un patrón falso.

Exactitud

La proporción de ejemplos que un modelo etiqueta correctamente; los datos malos casi siempre la bajan.

Generalización

Qué tan bien funciona un modelo con ejemplos nuevos; los datos limpios y equilibrados ayudan a que un modelo generalice.

Duplicados: el mismo ejemplo contado dos veces

• La fila idéntica del plátano copiada tres veces en la tabla
• La misma foto pegada dos veces en un conjunto de datos

Etiquetas incorrectas: la respuesta equivocada enseña el patrón equivocado

• Una fruta redonda y roja etiquetada "plátano"
• La foto de un gato etiquetada "perro" en un conjunto de datos de animales

Datos equilibrados: dale a cada categoría una parte justa

• 10 manzanas y 10 plátanos está más equilibrado que 18 manzanas y 2 plátanos
• Un modelo entrenado sobre todo con una categoría tiende a predecir esa categoría de más

Ejemplo resuelto

Reparar paso a paso una tabla de frutas desordenada

1. Empieza con una tabla desordenada: 18 manzanas y 2 plátanos, una fila de plátano copiada tres veces y una manzana etiquetada como "plátano".
2. Encuentra los duplicados: el plátano idéntico aparece tres veces, así que quita dos copias y conserva una.
3. Arregla las etiquetas incorrectas: la fruta redonda y roja etiquetada "plátano" en realidad es una manzana, así que cambia su etiqueta a "manzana".
4. Revisa el equilibrio: ahora las categorías están muy disparejas, así que agrega más ejemplos reales de plátano hasta que las manzanas y los plátanos queden más o menos parejos.
5. Resultado: un conjunto de datos limpio, bien etiquetado y equilibrado, del que el modelo puede aprender un patrón justo.

Lo importante: Repara un conjunto de datos quitando duplicados, corrigiendo etiquetas equivocadas y equilibrando las categorías antes de que un modelo aprenda de él.

Actividad

Revisa lo que entendiste

Pruébalo tú

Rómpelo y luego arréglalo

Toma un conjunto de datos pequeño y limpio, agrégale a propósito cada uno de los tres problemas, luego repáralo y describe el efecto.

1. Empieza con un conjunto de datos pequeño, limpio y equilibrado, de dos categorías.
2. Agrega una fila duplicada, cambia una etiqueta para que quede incorrecta y quita ejemplos para que una categoría sea mucho más grande.
3. Ahora repara los tres problemas y explica, para cada uno, cómo debería ayudar el arreglo a la exactitud o la justicia del modelo.

Lo lograste cuando

• Los tres problemas se agregan a propósito y quedan claramente marcados.
• Los tres quedan reparados.
• Cada reparación tiene una razón ligada a la exactitud o a la justicia.

Por favor no incluyas información privada. Tus respuestas se guardan solo en este navegador y nunca se envían a ningún lado.