【总结】Spark优化(1)-多Job并发执行


Spark程序中一个Job的触发是通过一个Action算子,比如count(), saveAsTextFile()等
在这次Spark优化测试中,从Hive中读取数据,将其另外保存四份,其中两个Job采用串行方式,另外两个Job采用并行方 香港云主机式。将任务提交到Yarn中执行。能够明显看出串行与兵线处理的性能。
每个Job执行时间:四个Job都是自执行相同操作,Job0,Job1一组采用串行方式,Job2,Job3采用并行方式。Job0,Job1串行方式耗时等于两个Job耗时之和 49s+39s=88sJob2,Job3并行方式耗时等于最先开始和最后结束时间只差17:02:12-17:01:15=57s
代码:

相关推荐: 如何理解OA系统中的公文管理?

如何理解 OA系统中的 公文管理 ? 公文管理 , 顾名思义就是对公文的创制、处置和管理,即在公文从形成、运转、办理、传递、存贮到转换为档案或销毁的一个完整周期中,以特定的方法和原则对公文进行创制加工、保管料理,使其完善并获得功效的行为或过程。协同 OA系统中…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 07/24 19:06
下一篇 07/24 19:06

相关推荐