部署方式：spark standalone集群、yarn集群、meoss集群…
driver的HA：如果希望driver程序在失败之后自动重启，那么需要在程序中使用getOrcreate方法重构streamingContext对象，以及在spark-submit中添加参数。
Checkpoint目录的设置：如果程序使用到 香港云主机checkpoint目录，就必须配置一个hdfs兼容的文件系统作为checkpoint目录，因为程序是分布式的，不能将checkpoint单独的设置在某一个节点
接收数据的方式： Receiver和direct
Receiver方式：需要给executor分配足够的资源，因为receiver接受的数据时存储在executor的内存中，尤其是在做window操作时，必须保证有足够的内存存储相应时间内的所有数据。 spark.streaming.receiver.writeAheadLog.enable参数设置为true，用于开启receive方式的WAL，保证数据不丢失。
direct方式：对于kafka direct方式，引入了backpressure机制，从而不需要设置spark.streaming.kafka.maxRatePerPartition，spark可以自动的估计receive最合理的接收速度，并根据情况动态调整，只需要设置：spark.streaming.backpressure.enabled设置为true即可
这篇文章主要讲解了“c语言怎么解决24点游戏问题”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“c语言怎么解决24点游戏问题”吧！你有 4 张写有 1 到 9 数字的牌。你需要判断是否能通过 *，/，+，-，(，…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
