机器学习系列三—评估方法

下面我们来介绍几种评估模型的几种方法。假设我们目前只有一个数据集D={(x1，y1),( x2，y2),...，( xm,ym)}既要训练，又要测试，该如何去做？

评估方法

1.留出法
将数据集D拆分成为两个互斥的集合，一个作为训练集S，另一个作为测试集D。

需要注意的是训练集与测试集的划分数据尽量保持一致性，可以选择分层抽样的方式，根据比例采样。

另外需要注意的是采用按比例分割仍有多种划分方式，单次使用留出法的得到的评估结果往往不够稳定，因此一般采用若干次随机划分、重复实验的方式取平均值后作为留出法的评估结果。

2.交叉验证法

“交叉验证法”先将数据集D划分成k个大小相似的互斥子集。每个子集 Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次选中k-1个子集作为训练集，剩下的那个子集作为测试集，从而可进行k次训练和测试，最终返回的结果是这k次测试结果的均值。

3.自助法

在留出法与交叉验证法中，由于一部分样本用于测试，因此会造成训练集样本数目过少的情况。在这里我们采用自助法（bootstrapping）作为解决方法。在给定的数据集D中，我们对它进行采样产生数据集 D^’:每次随机从D中挑选一个样本，将拷贝入 D^’中，然后重复m次，这样D中会有一部分样本在D^’ 中多次出现，但仍有一部分样本没有在D^’中出现过。我们将D^’作为训练集，将没有出现过的样本作为测试集。

4.调参

大多数算法都有些参数需要设定，参数配置不同，学得模型的性能的性能往往有显著的差别。因此在模型评估与选择时，除了要对适用学习算法进行选择，还需对算法参数进行设定，这就是通常所说的“调参”。