修复数据集

你将能够做到

• 发现常见的数据问题：重复项、错误标签和不均衡的类别。
• 说明每个问题会怎样损害模型的准确率或公平性。
• 修复一个小数据集，让它的样例都正确、类别也均衡。

想一想

一个学生正在教模型分辨苹果和香蕉。他的表里有 18 个苹果，却只有 2 根香蕉，其中一根香蕉被复制了三次，还有一个苹果被误标成了「香蕉」。当模型从这些数据中学习时，可能出什么问题？

上完这节课，你就能说出并修好这三个问题。

均衡的数据

每个类别的样例数量都公平、大致相等的数据集，这样模型才能把每个类别都学好。

重复项

在数据集中出现不止一次的样例，它可能让模型过度关注那个被重复的个例。

错误标签

被标上了错误答案的样例，比如一根香蕉被标成「苹果」，这会教给模型一条假的规律。

准确率

模型标注正确的样例所占的比例；糟糕的数据通常会把它拉低。

泛化

模型在新样例上表现得有多好；干净、均衡的数据有助于模型泛化。

重复项：同一个样例被算了两次

• 表格里那一行完全相同的香蕉被复制了三次
• 同一张照片被粘贴进数据集两次

错误标签：错的答案会教出错的规律

• 一个又圆又红的水果被标成了「香蕉」
• 动物数据集里，一张猫的照片被标成了「狗」

均衡的数据：给每个类别公平的份额

• 10 个苹果配 10 根香蕉，比 18 个苹果配 2 根香蕉均衡得多
• 主要用某一个类别训练出来的模型，往往会过多地预测那个类别

例题讲解

一步步修复一张杂乱的水果表

1. 先看这张杂乱的表：18 个苹果、2 根香蕉，其中一行香蕉被复制了三次，还有一个苹果被标成了「香蕉」。
2. 找出重复项：那根一模一样的香蕉出现了三次，删掉两份，保留一份。
3. 修正错误标签：那个被标成「香蕉」的又圆又红的水果其实是苹果，把它的标签改成「苹果」。
4. 检查均衡：现在两个类别悬殊得厉害，于是补充更多真实的香蕉样例，直到苹果和香蕉大致相当。
5. 结果：一个干净、标注正确、类别均衡的数据集，模型可以从中学到公平的规律。

要点：在模型学习之前，通过删除重复项、修正错误标签和让类别均衡来修复数据集。

活动

检查你的理解

自己动手试试

先弄坏，再修好

拿一个干净的小数据集，故意把这三个问题一一加进去，然后再把它们修好，并描述效果。

1. 从一个干净、均衡、只有两个类别的小数据集开始。
2. 加一行重复数据，把一个标签改成错的，再删掉一些样例，让其中一个类别变得大得多。
3. 现在把这三个问题都修好，并针对每一个说明这次修复应当如何改善模型的准确率或公平性。

做到这样就算成功

• 三个问题都被故意加入并清楚地标了出来。
• 三个问题都被修复了。
• 每一次修复都给出了与准确率或公平性相关的理由。

请不要写私人信息。你的回答只保存在这个浏览器里，不会发送到任何地方。