本篇内容主要讲解“怎么使用Apache Spark实现分布式随机森林”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“怎么使用Apache Spark实现分布式随机森林”吧!我们使用公共可用的纽约出租车数据集，并训练一个随机森林回归器，该回归器可以使用与乘客接送相关的属性来预测出租车的票价金额。以2017年、2018年和2019年的出租车出行量为训练集，共计300700143个实例。Spark集群使用Amazon EMR进行管理，而Dask/RAPIDS集群则使用Saturn Cloud进行管理。两个集群都有20个工作节点，具有以下AWS实例类型：Spark：r5.2xlarge8个CPU，64 GB RAM按需价格：0.504美元/小时RAPIDS：g4dn.xlarge4个CPU，16 GB RAM1个GPU，16 GB GPU RAM（NVIDIA T4）按需价格：0.526美元/小时Saturn Cloud也可以用NVIDIA特斯拉V100 GPU来启动Dask集群，但我们在这个练习中选择了g4dn.xlarge，保持与Spark集群相似的小时成本概况。Apache Spark是一个在Scala中构建的开源大数据处理引擎，它有一个Python接口，可以调用Scala/JVM代码。它是Hadoop处理生态系统中的一个重要组成部分，围绕MapReduce范例构建，并且具有用于数据帧和机器学习的接口。设置Spark集群不在本文的讨论范围之内，但是一旦准备好集群，就可以在Jupyter Notebook中运行以下命令来初始化Spark：findspark包检测系统上的Spark安装位置；如果可以知道Spark包的安装位置，则可能不需要这样做。要获得有性能的Spark代码，需要设置几个配置设置，这取决于集群设置和工作流。在这种情况下，我们设置spark.executor.memory以确保我们不会遇到任何内存溢出或Java堆错误。NVIDIA RAPIDS 香港云主机是一个开源的Python框架，它在gpu而不是cpu上执行数据科学代码。类似于在训练深度学习模型时所看到的，这将为数据科学工作带来巨大的性能提升。RAPIDS有数据帧、ML、图形分析等接口。RAPIDS使用Dask来处理与具有多个gpu的机器的并行化，以及每个具有一个或多个gpu的机器集群。设置GPU机器可能有点棘手，但是Saturn Cloud已经为启动GPU集群预构建了映像，所以你只需几分钟就可以启动并运行了！要初始化指向群集的Dask客户端，可以运行以下命令：数据文件托管在一个公共的S3 bucket上，因此我们可以直接从那里读取csv。S3 bucket的所有文件都在同一个目录中，所以我们使用s3fs来选择我们想要的文件：使用Spark，我们需要单独读取每个CSV文件，然后将它们组合在一起：使用Dask+RAPIDS，我们可以一次性读取所有CSV文件：我们将根据时间生成一些特征，然后保存数据帧。在这两个框架中，这将执行所有CSV加载和预处理，并将结果存储在RAM中（在RAPIDS的情况下是GPU RAM）。我们将用于训练的特征包括：对于Spark，我们需要将特征收集到向量类中：对于RAPIDS，我们将所有浮点值转换为float32，以便进行GPU计算：我们只需要几行代码就可以训练随机森林。Spark：RAPIDS：我们对Spark（CPU）和RAPIDS（GPU）集群上的300700143个纽约出租车数据实例训练了一个随机森林模型。两个集群都有20个工作节点，每小时价格大致相同。以下是工作流每个部分的结果：37分钟的Spark 与1秒的RAPIDS！GPU胜利！想一想，一次拟合你不需要等待37分钟了，这将加快之后迭代和改进模型的速度。而在CPU上，一旦添加了超参数调优或测试不同的模型，迭代都很容易累积到数小时或数天。到此，相信大家对“怎么使用Apache Spark实现分布式随机森林”有了更深的了解，不妨来实际操作一番吧！这里是开发云网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！
相关推荐: 必须掌握的Navicat for SQLite功能有哪些
小编给大家分享一下必须掌握的Navicat for SQLite功能有哪些，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！Navicat for SQLite是一套强大和全面的SQLi…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
