认识达内从这里开始

认真做教育专心促就业

搭建机器学习平台都需要注意哪些问题

发布：太原达内教育官网
来源：互联网
时间：2020-06-22 08:40

随着互联网的不断发展，无论是大数据技术还是人工智能技术都得到了广泛的应用，而今天我们就一起来了解一下，搭建机器学习平台都需要注意哪些问题。

搭建机器学习平台都需要注意哪些问题

一个大规模的机器学习平台先要具备优秀的调度能力，并非所有任务每天都需要大量资源，但要保证极限情况下的承受能力足够强，而所需资源不多时又可及时释放。所以，大部分机器学习平台都是从小规模逐渐做起来的，这个过程会积累一些能力，比如沉淀一些框架和平台，或者帮助开发者做分布式训练等。

阿里近推出了机器学习平台PAI的DSW，其托管在云平台之上，非常方便，开发者可随时打开IDE，该平台可自动保存工作内容，然后可以快速开发。如果开发者觉得模型基本完成，希望无感知提交到更大的集群中时就涉及关于模型的开发。

模型离不开数据，在数据处理中，开发人员需要有配套的大数据处理能力，需要对数据进行清洗和提纯，这就要求平台需要具备大数据能力，这也是为什么计算平台会把AI和大数据作为两大引擎，因为彼此之间需要交互。同时，平台上训练出的模型需要在业务中达到一定效果，比如让服务做到低延时、高吞吐，保证服务发布、更新、迭代、切换以及报警、监控等。

AI需要大量的数据，而这些数据还得有标签，这意味着数据标注平台同样重要，可以帮助用户快速处理数据。其实，现在AI整个训练流程非常灵活，如果要在更大的范围内做一些训练，比如发布一个模型，可能会有一些badcase或者识别不好的负样本，我们要把这些case积累在一起，并帮助用户重新调整模型以提高终效果。

事实上，AI属于计算密集型任务，需要大量数据交互，所以分配资源的时候要根据任务大小来考虑如何对应到底层硬件的拓扑结构上，使之能够充分利用异构特性完成整个过程，我们能够充分利用系统对训练任务的理解，有效调度不同部分到不同的资源上面，充分地利用多种硬件资源，发挥系统的高效率。

此外，要考虑容错，因为过大的集群经常容易发生错误，机器并不是永动机，随时可能出现问题，软件也不能保证没有bug，容错需要和调度系统配合在一起。

在这个流程中，为了提高效率，还需要配备各种性能优化和加速工具，包括推理、量化、压缩、蒸馏等，这些工具彼此之间的连接也是平台需要做的事情。

总之，AI工程非常复杂，牵涉很多环节。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请在707945861群中学习了解。

< 上一篇：计算机编程开发关于编码的基础知识分享

下一篇：太原java编程开发代理模式常用类型 >