认识达内从这里开始

认真做教育专心促就业

大数据分析模型建立步骤分解

发布：太原达内教育官网
来源：互联网
时间：2019-09-16 08:44

我们在做大数据分析的时候一般都会建立一个大数据模型，而今天我们就一起来了解一下，大数据模型建立都分为了哪些步骤。希望通过对本文的阅读，大家对于大数据分析能够有更全面的了解。

大数据分析模型建立步骤分解

一般情况，模型都有一个固定的模样和形式。但是，有些模型包含的范围较广，比如回归模型，其实不是某一个特定的模型，而是一类模型。我们知道，所谓的回归模型，其实就是自变量和因变量的一个函数关系式而已，如下表所示。因此，回归模型的选择，也就有了无限的可能性，回归模型的样子(或叫方程)可以是你能够想到的任何形式的回归方程。所以，从某种意义上看，你自己想出一个很少人见过的回归方程，也可以勉强算是自定义模型了哈!

当模型选择好了以后，就到了训练模型这一步。

我们知道，之所以叫模型，这个模型大致的形状或模式是固定的，但模型中还会有一些不确定的东东在里面，这样模型才会有通用性，如果模型中所有的东西都固定死了，模型的通用性就没有了。模型中可以适当变化的部分，一般叫做参数，就比如前面回归模型中的α、β等参数。

所谓训练模型，其实就是要基于真实的业务数据来确定合适的模型参数而已。模型训练好了，也就是意味着找到了合适的参数。一旦找到优参数，模型就基本可用了。

模型训练好以后，接下来就是评估模型。

所谓评估模型，就是决定一下模型的质量，判断模型是否有用。

前面说过，模型的好坏是不能够单独评估的，一个模型的好坏是需要放在特定的业务场景下来评估的，也就是基于特定的数据集下才能知道哪个模型好与坏。

既然要评估一个模型的好坏，就应该有一些评价指标。比如，数值预测模型中，评价模型质量的常用指标有：平均误差率、判定系数R2，等等;评估分类预测模型质量的常用指标有：正确率、查全率、查准率、ROC曲线和AUC值等等。

如果评估模型质量在可接受的范围内，而且没有出现过拟合，于是就可以开始应用模型了。

这一步，就需要将可用的模型开发出来，并部署在数据分析系统中，然后可以形成数据分析的模板和可视化的分析结果，以便实现自动化的数据分析报告。

应用模型，就是将模型应用于真实的业务场景。构建模型的目的，就是要用于解决工作中的业务问题的，比如预测客户行为，比如划分客户群，等等。

当然，应用模型过程中，还需要收集业务预测结果与真实的业务结果，以检验模型在真实的业务场景中的效果，同时用于后续模型的优化。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。