这篇文章主要为大家展示了“怎么获取CDSW上提交Spark作业的真实用户”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“怎么获取CDSW上提交Spark作业的真实用户”这篇文章吧。在一个CDSW环境中，由于其中一个租户经常提交大型Spark作业将YARN上租户所在的资源池资源用到95%以上，从而影响到同一租户下其他用户提交作业的运行。这种情况下我们没办法直接找到这些大型作业的实际提交人，是因为我们在为CDSW做多租户配置的时候会将登录CDSW的某一批用户统一绑定到同一个租户下(这样设计的目的主要是为了简化YARN的租户管理，而不用为每个用户创建资源池队列)，所以导致在YARN的界面上看到的都是同一个租户，而无法对应到实际CDSW的用户以及这个人提交的大型作业。本文主要描述通过修改Spark的配置来将作业的实际提交人的用户名展示到Spark UI，非CDSW的YAR 香港云主机N的多租户管理也会碰到类似问题。1.登录CM界面，进入Spark2的实例界面，将Gateway角色分组，将CDSW所在主机的Gateway角色分到另外的组2.进入Spark2的配置页面，修改“spark-conf/spark-env.sh 的 Spark 客户端高级配置代码段（安全阀）”这一参数，选择编辑单个值，修改CDSW Gateway角色组的配置，填入如下内容：
3.修改完配置后点击“保存更改”，根据提示重启相关服务（此步骤会涉及到CDSW服务重启）1.使用user1用户登录CDSW2.运行一个示例PySpark程序3.在SparkUI上找到该作业，并点击“Environment”，可以看到参数列表中打印了提交Spark作业的用户以上是“怎么获取CDSW上提交Spark作业的真实用户”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注开发云行业资讯频道！
本篇内容主要讲解“Docker的基本概念是什么”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Docker的基本概念是什么”吧!虚拟化：分为硬件虚拟化和软件虚拟化，软件虚拟化又分为应用虚拟化和平台虚拟化。容器技术：属…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
