交叉验证

简单交叉验证

所谓的简单，是和其他交叉验证方法相对而言的。首先，我们随机的将样本数据分为两部分（比如： 50%的训练集，50%的验证集），然后用训练集来训练模型，在验证集上验证模型及参数。接着，我们再把样本打乱，重新选择训练集和验证集，继续训练数据和检验模型。最后我们选择损失函数评估最优的模型和参数。　

特点：在分割训练集和验证集的时候，一般是随机的，这也正是容易出猫腻的地方。同一个模型和参数，分别在两次分割中，验证结果可能会出现很大的差距。所以，不太有说服力。

K折交叉验证（K-Folder Cross Validation）

和第一种方法不同，K折交叉验证会把样本数据随机的分成K份，每次随机的选择K-1份作为训练集，剩下的1份做验证集。当这一轮完成后，重新随机选择K-1份来训练数据。若干轮（小于K）之后，选择损失函数评估最优的模型和参数。

特点：K一般大于等于2，实际操作时一般从3开始取，只有在原始数据集合数据量小的时候才会尝试取 2。它可以有效的避免过拟合以及欠拟合状态的发生，最后得到的结果也比较具有说服力。

留一手交叉验证（Leave-one-out Cross Validation）

它是第二种情况的特例，此时K等于样本数N，这样对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型预测的好坏。此方法主要用于样本量非常少的情况，比如对于普通适中问题，N小于50时，我一般采用留一交叉验证。

特点：结果比较可靠。过程中没有随机因素会影响结果，确保了整个过程是可以被复制的。

如果我们只是对数据做一个初步的模型建立，不是要做深入分析的话，简单交叉验证就可以了。否则就用K折交叉验证。在样本量少的时候，使用K折交叉验证的特例，留一手交叉验证。