在机器学习寻找假设的过程中可能会出现过拟合和欠拟合的现象,那什么是过拟合和欠拟合呢?
我们客观上认为,给定一个假设空间H,一个假设a∈H,如果存在其他的假设α∈H,使得在训练样例上a的错误率比α的小,但在整个实例分布上α的错误率比a的小,那么就说假设a过度拟合训练数据。
一般而言,我们认为参数过多是造成过拟合的原因。其实,这只是过拟合的一种表现。有的时候参数过少也会造成过拟合,但这种情况出现极其少!举个例子,假设你在做分类任务,你的训练样例上只有两个(1、outlook=Rain,Wind=Weak、Temperature=Cool,Humidity=Normal,PalyTennis=Yes;2、outlook=Rain,Wind=Weak,Temperature=Cool,Humidity=Strong,PalyTennis=Yes;),我们依此做一个分类器。在两个训练样例的情形下,直接可以用特征Humidity进行分类,且很好的分类训练样例。但是稍微学过的机器学习的人都会觉得这样的分类器经不起推敲,这是因为参数太少了,出现了“黑天鹅”和“白天鹅”的现象。
至于欠拟合则是因为所选参数太少无法刻画出训练样例的基本关系,或者是所选的参数不太好,不能反映问题所需。
(上述只是定性的介绍了欠拟合和过拟合,关于欠拟合和过拟合定量的介绍以及它们的解决办法将在以后介绍!)
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。