测试程序的目的是_____ 机器学习中的模型评价、模型选择及算法选择(7)

其中R是相关过拟合率：

为了计算R，我们需要知道非信息率γ。我们可以通过在包含样本和标签所有可能组合的数据集上拟合模型计算γ，其中先假设样本和标签彼此独立：

或者，通过

估计非信息率。其中为在数据集中观察到的k类样本的比例，而q_k是分类器在数据集中所预测的k类样本的比例。

▌总结

本节我们继续讨论了机器学习模型评估的偏差和方差，此外还介绍了重复Holdout方法，该方法可以获得关于模型稳定性的信息。然后我们讨论了bootstrap方法——一种来自统计学的方法——及其分支在衡量模型性能不确定性中的作用。下一节我们将讨论模型选择和超参数调优。

3 交叉验证和超参数优化

▌3.1 概述

几乎每种机器学习算法都有大量的设置，而超参数可以帮助我们在优化机器学习算法性能时控制算法，在偏差和方差折中方案之间找到一个好的平衡。超参数调优本身就是一门艺术，而且没有既准有快的方法可以保证在给定数据集上实现最佳性能。本节将重点讨论模型评估和模型选择交叉验证的不同方法。交叉验证技术会对多个超参数配置对模型进行排序，并估计模型对独立数据集的泛化性能。

▌3.2 超参数和模型选择

在第一节中我们已经介绍过超参数和模型参数的区别。超参数需要在算法运行之前就手动给定，如knn中的k，而模型参数可以由算法自动学习到。Logistic回归模型中，模型参数就是数据集中每个特征变量的权重系数，该系数可以最大化对数似然函数或最小化损失函数自动更新，而超参数则比如是迭代次数，或基于梯度的优化中传递训练集(epochs)的次数。另一个超参数是正则化参数估计的值。

在训练集上运行算法时更改超参数的值可能会产生不同的模型。从一组由不同的超参数值产生的模型中寻找最佳模型的过程称为模型选择。下一小节将介绍一个Holdout方法的拓展，该方法可用于模型选择。

▌3.3 超参数调优的three-way Holdout方法

在第一节中为了估计模型的泛化性能，我们使用Holdout方法将数据划分为训练集和测试集。那Holdout方法可以用于超参数调优吗？答案是肯定的，但我们必须对初始方法进行一些修改，将数据集划分为训练、验证和测试集三部分（three-way）。

超参数优化的目的通常是优化某个性能指标，如分类精度或ROC（Receiving Operating Characteristic）曲线下的面积,调优之后再根据模型在测试集上的性能进行选择。测试程序的目的是_____然而多次重复使用测试集会带来偏差，最终的性能评估可能偏向过度乐观。将数据集分为训练、验证和测试集之后，超参数调优和模型选择中的训练集-验证集对可以让测试集在模型评估中保持独立。

图12对这种方法进行了说明。

Step 1. 将数据集划分为三部分：训练集用于模型拟合，验证集用于模型选择，测试集用于最终评估选定模型。

Step 2. 超参数优化：使用不用超参数设置的算法在训练数据上拟合模型。

Step 3. 对模型在验证集上的性能进行评估。在比较性能评估之后选择最佳性能模型对应的超参数设置。实际操作中常常合并步骤2和步骤3。

Step 4. 为了避免训练集太小造成的性能估计偏向悲观，我们可以在模型选择之后将训练集和验证集合并，并使用第3步的最佳超参数模型设置将模型在合并后的数据集上进行拟合。

Step 5. 使用独立测试集估计模型泛化性能。测试集目的是估计模型在未知数据上的泛化能力，重复使用该数据集或导致模型泛化性能的乐观估计。

Step 6. 最后可以将训练集、验证集和测试集合并，将模型在全部数据上进行拟合，以供实际使用。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-82970-7.html