课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
我们在学习机器学习技术的时候曾经提到过关于回归方式的不同会带来什么样的结果,下面我们就一起来了解一下,不同的回归方式都有哪些类型。
线性回归(Linear Regression)
回归是一种用于建模和分析变量之间关系的技术,通常是它们如何结合并且与一起产生特定结果相关。 线性回归指的是完全由线性变量组成的回归模型。 从简单的情况开始,单变量线性回归是一种技术,用于使用线性模型对单个输入自变量和输出因变量之间的关系进行建模。
更一般的情况是多变量线性回归,其中为多个独立输入变量(特征变量)和输出因变量之间的关系创建模型。 模型保持线性,输出是输入变量的线性组合。
多项式回归(Polynomial Regression)
当我们想要创建一个适合处理非线性可分数据的模型时,我们需要使用多项式回归。 在这种回归技术中,佳拟合线不是直线。 它是一条适合数据点的曲线。
我们可以让一些变量具有指数,其他变量没有指数,并且还为每个变量选择我们想要的精确指数。 但是,选择每个变量的精确指数自然需要了解数据如何与输出相关。
岭回归(ride regression)
在特征变量之间存在高共线性的情况下,标准线性或多项式回归将失败。 共线性是独立变量之间存在近线性关系。 高共线性的存在可以通过几种不同的方式确定:
即使理论上该变量应该与Y高度相关,回归系数也不显着。
添加或删除X特征变量时,回归系数会发生显着变化。
X特征变量具有高成对相关性(检查相关矩阵)。
套索回归(lasso regression)
套索回归与岭回归非常相似,因为两种技术都具有相同的前提。 我们再次为回归优化函数添加一个偏置项,以减少共线性的影响,从而减小模型方差。 然而,不是使用像岭回归那样的平方偏差,而套索回归使用绝对值偏差。
弹性网络回归(ElasticNet Regression)
ElasticNet是Lasso和Ridge Regression技术的混合体。 它使用L1和L2正则化来考虑两种技术的影响。
在Lasso和Ridge之间进行权衡的一个实际优势是:它允许Elastic-Net在旋转下继承Ridge的一些稳定性。
note:
它在高度相关的变量的情况下鼓励群体效应,而不是像Lasso那样将其中的一些归零。
所选变量的数量没有限制。
作者:Jin_liang
节选:博客园
【免责声明】本文系本网编辑部分转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与管理员联系,我们会予以更改或删除相关文章,以保证您的权益!