二、flink-集群环境搭建

Flink可以选择的部署方式有：
Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。
我们主要对Standalone模式和Yarn模式下的Flink集群部署进行分析。
Standalone模式常用于单机进行程序测试，Yarn模式常用于实际线上生产环境。1、集群规划（注：zookeeper只是用于实现master HA的必要组件，如果不需要master HA，则zookeeper可以去掉。）2、软件版本3、基础环境
安装好jdk、scala、hadoop（hdfs+yarn都要部署好）、zookeeper，部署方法看之前的相关文章。而且要注意的是，节点之间要配置好ssh秘钥免登陆。1、解压程序：2、修改配置文件3、配置环境变量4、拷贝配置好的/opt/module/flink-1.6.1到其他节点
使用scp或者rsync同时配置好其他两台的环境变量5、启动flink集群使用jps可以在对应的节点上查看对应的进程6、web UI 查看
http://bigdata11:80817、运行测试任务8、增减节点到集群中首先，我们需要知道 Flink 有两种部署的模式，分别是 Standalone 以及 Yarn Cluster 模式。对于 Standalone 来说，Flink 必须依赖于 Zookeeper 来实现 JobManager 的 HA（Zookeeper 已经成为了大部分开源框架 HA 必不可少的模块）。在 Zookeeper 的帮助下，一个 Stand 香港云主机alone 的 Flink 集群会同时有多个活着的 JobManager，其中只有一个处于工作状态，其他处于 Standby 状态。当工作中的 JobManager 失去连接后（如宕机或 Crash），Zookeeper 会从 Standby 中选举新的 JobManager 来接管 Flink 集群。
对于 Yarn Cluaster 模式来说，Flink 就要依靠 Yarn 本身来对 JobManager 做 HA 了。其实这里完全是 Yarn 的机制。对于 Yarn Cluster 模式来说，JobManager 和 TaskManager 都是被 Yarn 启动在 Yarn 的 Container 中。此时的 JobManager，其实应该称之为 Flink Application Master。也就说它的故障恢复，就完全依靠着 Yarn 中的 ResourceManager（和 MapReduce 的 AppMaster 一样）。由于完全依赖了 Yarn，因此不同版本的 Yarn 可能会有细微的差异。这里不再做深究。1、修改配置文件
conf/flink-conf.yamlconf/mastersconf/zoo.cfg修改完后同步配置到其他所有节点中。2、启动集群1.5 yarn模式安装
部署步骤和上面standalone基本一样，这里不重复。还要添加以下配置：
配置好hadoop（hdfs和yarn）环境，同时配置好HADOOP_HOME这个环境变量。
接着在yarn下启动jobmanager和taskmanager。启动完成后，可以到yarn 的web页面查看到刚才提交会话任务：同时可以在提交session的节点上使用jps查看对应的进程：提交测试任务到yarn中的flink集群运行提交任务之后，可以在yarn的web页面中查看到相关的任务信息

相关推荐: win7如何添加打印机

这篇“win7如何添加打印机”文章的知识点大部分人都不太理解，所以小编给大家总结了以下内容，内容详细，步骤清晰，具有一定的借鉴价值，希望大家阅读完这篇文章能有所收获，下面我们一起来看看这篇“win7如何添加打印机”文章吧。添加方法：1、点击开始菜单，选择控制面…

二、flink–集群环境搭建

相关

相关推荐