训练并测试一个分类器

你将能够做到

• 说明为什么要用另外的、没参与训练的照片来测试分类器。
• 用「预测正确数除以预测总数」来计算准确率。
• 读懂各类别准确率，并找出最弱的那个类别。
• 说明为什么单一的总体准确率会掩盖某个薄弱类别。

想一想

一个分类器把每一张训练照片都答对了。制作它的人说它「完美无缺」。可当它遇到全新的照片时，却错了一大堆。他们衡量它的方式出了什么问题？

想一想「背下答案」和「真正学会规律」之间的区别。

准确率

分类器答对的频率，通常是预测正确的数量除以预测总数，以百分比表示。

各类别准确率

分别针对每个类别测出的准确率，让你看清分类器擅长哪些类别、又在哪些类别上吃力。

测试集

一组带标签、被单独留出且从未用于训练的照片，用来公平地检验分类器面对新图像时的表现。

训练集

分类器在接受测试之前，用来学出各种规律的那些带标签照片。

为什么要用分类器从没训练过的照片来测试

• 用 800 张宠物照片训练，再用另外 200 张不同的宠物照片测试。
• 训练分数高而测试分数低，是「死记硬背」的警示信号。
• 测试照片也必须带标签，你才能核对每一个预测。

准确率：分类器答对的频率

• 50 张照片答对 45 张，就是 90% 的准确率。
• 两个分类器可能准确率相同，犯的错误却大不一样。
• 只有在带标签的数据集上，也就是你知道正确答案时，准确率才有意义。

各类别准确率能讲出更完整的故事

• 总体 90%，但猫 98%、狗 92%、兔子 74%。
• 如果某个薄弱类别在测试集里照片很少，它可能被藏起来。
• 修好最弱的那个类别，通常能把总体准确率抬得最多。

例题讲解

公平地衡量一个宠物分类器

1. 拆分照片：800 张进训练集，另外 200 张不同的进测试集。
2. 训练：分类器只用那 800 张训练照片来学习猫、狗和兔子的规律。
3. 测试：把留出的 200 张全部跑一遍，把每个预测和真实标签作比较。
4. 总体准确率：200 张里对了 180 张，所以 180 ÷ 200 = 90% 的准确率。
5. 按类别看：猫 98%、狗 92%、兔子 74%。尽管总体的 90% 看着挺不错，其实是兔子在拖后腿。

要点：用留出的照片测试，按「答对数除以总数」算出准确率，再按类别拆开，找出被总体数字掩盖的薄弱环节。

活动

检查你的理解

自己动手试试

公平地划分

为一个给三种水果照片分类的分类器，设计一套公平的训练／测试方案，并说明你会衡量什么。

1. 决定多少张照片进训练集，多少张留出来做测试集。
2. 说明为什么测试照片不能在训练中使用。
3. 列出你会报告的准确率数字：总体准确率，以及每种水果的准确率。

做到这样就算成功

• 把照片清楚地划分成训练组和测试组。
• 说明了测试照片必须排除在训练之外的理由。
• 把总体准确率和各类别准确率都列为需要报告的内容。

请不要写私人信息。你的回答只保存在这个浏览器里，不会发送到任何地方。