今天就跟大家聊聊有关怎么让CDSW的PySpark自动适配Python版本，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。在CDH集群中Spark2的Python环境默认为Python2，CDSW在启动Session时可以选择Engine Kernel版本Python2或者Python3。当选择Python3启动Session时，开发PySpark作业在运行时会报“Python in worker has different version 2.7 than that in driver 3.6, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set”，为解决Python版本适配的问题，需要进行如下调整来使我们的应用自动的适配Python版本。基于CDH提供的Anaconda Parcels包来安装Python，通过在CDH集群同时安装两个Python版本的Parcel包来解决多个版本的问题。如果需要在Spark中默认的支持Python2或者Python3版本则激活相应版本的Parcel即可，在我的集群默认激活的为Python2版本的Parcel包，在接下来的操作主要介绍Python3的环境准备。Spark2默认使用的Python2环境变量1.Python2版本的Anaconda下载地址如下：2.Python3版本的Anaconda下载地址如下：3.将下载好的parcel包部署到集群的私有HTTP服务上4.使用管理员账号登录Cloudera Manager进入Parcel包管理界面配置Anaconda地址5.完成Parcel地址配置后完成对应版本Parcel包的下载分配即可上述操作 香港云主机不需要激活，在不激活的情况下PySpark默认使用的Python2环境，如果激活则使用的是Python3环境。6.确认集群所有节点已存在Python2和Python3的环境为了能让我们的Pyspark程序代码自动适配到不同版本的Python，需要在我们的Spark代码初始化之前进行环境的初始化，在代码运行前增加如下代码实现适配不同版本的Python。1.选择Python2环境启动Session2.运行PySpark作业测试正常运行3.选择Python3环境启动Session4.运行PySpark作业测试正常运行在集群中同时部署多个版本的Python，通过在Pyspark代码中使用Python命令动态的指定PYSPARK_PYTHON为我们需要的Python环境即可。看完上述内容，你们对怎么让CDSW的PySpark自动适配Python版本有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注开发云行业资讯频道，感谢大家的支持。
这篇文章主要介绍“springboot集成fastdfs的方法”，在日常操作中，相信很多人在springboot集成fastdfs的方法问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”springboot集成fastdfs的方法”…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
