hadoop高可靠性HA集群

　　在hadoop2.x中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.x官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里楼主使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode（我配了3个）。
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态。hadoop2.4以前的版本中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，2.4以后解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。yarn的HA配置楼主会给出配置文件，受环境影响，这里就不搭建yarn的高可用性了。备6台Linux机器安装JDK、配置主机名、修改IP地址、关闭防火墙配置SSH免登陆安装zookeeper集群zookeeper、hadoop环境变量配置核心配置文件修改启动zookeeper集群启动journalnode格式化文件系统、格式化zk启动hdfs、启动yarn　　　　1.由于楼主机器硬件环境的限制，这里只准备了6台centos7的系统。
　　2.修改IP。如果跟楼主一样使用VM搭集群，请使用only-host模式。　　
　　3.修改主机名和IP的映射关系　　4.关闭防火墙　　5.修改主机名　　6.ssh免登陆　　生成公钥、私钥　　　　将公钥发送到其他机器
　　7.安装JDK，配置环境变量　　hadoop01,hadoop02,hadoop03　　hadoop04,hadoop05,hadoop06(包含zookeeper)　　1.上传zk安装包
　　上传到/home/hadoop
　　2.解压　　
　　3.配置（先在一台节点上配置）
在conf目录，更改zoo_sample.cfg文件为zoo.cfg

修改配置文件（zoo.cfg）

在（dataDir=/home/hadoop/zookeep开发云主机域名er-3.4.10/data）创建一个myid文件，里面内容是server.N中的N（server.2里面内容为2）

4.将配置好的zk拷贝到其他节点

注意：在其他节点上一定要修改myid的内容
在hadoop05应该将myid的内容改为2 （echo “6” > myid）
在hadoop06应该将myid的内容改为3 （echo “7” > myid）　5.启动集群
分别启动hadoop04,hadoop05,hadoop06上的zookeeper 　　1.解压 2.配置core-site.xml 　　3.配置hdf-site.xml　　4.配置mapred-site.xml　　5.配置yarn-site.xml　　6.配置slaves　　7.将配置好的hadoop拷贝到其他节点　　1.启动zookeeper集群（分别在hadoop04，hadoop05，hadoop06上启动zookeeper）
　　2.查看zookeeper状态　　包含一个leader，二个follower　　　　3.启动journalnode（分别在hadoop04，hadoop05，hadoop06上执行）运行jps命令检验，hadoop04，hadoop05，hadoop06上多了JournalNode进程　　4.格式化HDFS 在hadoop01上执行命令: 　　检查是否成功看终端知否打印：　　格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里楼主配置的是/home/hadoop/hadoop-2.7.3/tmp，然后将/home/hadoop/hadoop-2.7.3/tmp拷贝到ihadoop02的/home/hadoop/hadoop-2.7.3/下。
　　5.格式化ZK(在hadoop01上执行即可)
　　效果如下（前面有点多截不下来，只截取了后面一部分）：　　6.启动HDFS(在hadoop01上执行) 7.启动YARN（在hadoop03上执行）　　到此，hadoop-2.7.3集群全部配置完毕，下面我们来验证：
　　　　浏览器访问http://192.168.8.101:50070 NameNode ‘hadoop01:9000’ (active)
　　　　 http://192.168.8.102:50070 NameNode ‘hadoop02:9000’ (standby)　　浏览器访问resourceManager：http://192.168.8.103:8088　　　　　　　　我们可以模拟NameNode(active)宕机，来验证HDFS的HA是否有效，NameNode(active)宕机后，NameNode(standby)会转为active状态，这里楼主不在演示。　　官网给出的文档还是比较详细的，楼主也是提取了官网的QJM解决方案来进行搭建。另外，yarn的HA搭建官网也给出了具体配置，有兴趣的同学可以试一试。

相关推荐: 怎么样分配公网证书基于负载均衡-Keepalived-Haproxy

下文给大家带来怎么样分配公网证书基于负载均衡-Keepalived-Haproxy，希望能够给大家在实际运用中带来一定的帮助，负载均衡涉及的东西比较多，理论也不多，网上有很多书籍，今天我们就用开发云在行业内累计的经验来做一个解答。241-HaproxyKA01…