认识达内从这里开始

认真做教育专心促就业

如何用Python编程语言实现随机森林

发布：太原达内教育官网
来源：互联网
时间：2020-06-11 08:13

随着互联网的不断发展，机器学习等相关技术也成为了程序员学习发展的热门方向，而今天我们就一起来了解一下，如何用Python编程语言实现随机森林构建。

如何用Python编程语言实现随机森林

一、概念解析

决策树：基于有关特征值的问题的流程图进行决策的直观模型。因为过拟合训练数据而有很高的方差。

基尼不纯度：决策树在分割每个节点时所要小化的指标。表示从一个节点随机选出的一个样本依据该节点的样本分布而错误分类的概率。

bootstrapping：可重复地采样随机观察集。随机森林用于训练每个决策树的方法。

随机特征子集：在考虑如何分割决策树中的每个节点时，选择一个随机的特征集。

随机森林：由数百或数千个使用bootstrapping、随机特征子集和平均投票来做预测的决策树构成的集合模型。这是bagging集成的一个示例。

偏差-方差权衡：机器学习领域内的一个基本问题，描述了高复杂度的模型和简单模型之间的权衡。高复杂度模型可以很好地学习训练数据，但代价是不能很好地泛化到测试数据(高方差);而简单模型(高偏差)甚至无法学习训练数据。随机森林能在降低单个决策树的方差的同时准确地学习训练数据，从而在测试数据上得到更好的预测结果。

二、随机森林

随机采样

随机森林的一大关键是每个树都在随机的数据点样本上进行训练。这些样本是可重复地抽取出来的(称为bootstrapping)，也就是说某些样本会多次用于单个树的训练(如果有需要，也可以禁止这种做法)。其思路是，通过在不同样本上训练每个树，尽管每个树依据训练数据的某个特定子集而可能有较高方差，但整体而言整个森林的方差会很低。这种在数据的不同子集上训练每个单个学习器然后再求预测结果的平均的流程被称为bagging，这是bootstrapaggregating的缩写。

特征的随机子集

随机森林背后的另一个概念是：在每个决策树中，分割每个节点时都只会考虑所有特征中的一个子集。通常设定为sqrt(n_features)，意思是在每个节点，决策树会基于一部分特征来考虑分割，这部分特征的数量为总特征数量的平方根。随机森林也可以在每个节点考虑所有特征来进行训练。(在Scikit-Learn随机森林实现中，这些选项是可调控的。)

如果你理解了单个决策树、bagging决策树、特征的随机子集，那你就可以很好地理解随机森林的工作方式了。随机森林组合了数百或数千个决策树，并会在稍有不同的观察集上训练每个决策树(数据点是可重复地抽取出来的)，并且会根据限定数量的特征分割每个树中的节点。随机森林的终预测结果是每个单个树的预测结果的平均。

随机森林实践

非常类似于其它Scikit-Learn模型，通过Python使用随机森林仅需要几行代码。我们将会构建一个随机森林，但不是针对上述的简单问题。为了比较随机森林与单个决策树的能力，我们将使用一个真实数据集，并将其分成了训练集和测试集。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请在707945861群中学习了解。

< 上一篇：数据库数据存储于基础语法类型介绍

下一篇：代码质量管理都包含了哪些方面 >