HADOOP/HBase动态新增节点


1. 检查JDK版本是否相同并拷贝JDK,并配置/etc/profile文件的JAVA_HOME和CLASSPATH属性2. 配置/etc/hosts文件,新增新加机器的计算机名,包括原有机器和新增机器都要修改该文件3. 拷贝hadoop-2.6.0和hbase-1.0.1.1,并把hadoop-2.6.0和hbase-1.0.1.1文件夹的文件所有者和文件所属组改成hadoop4. 配置Master到Slave的无密码登录5. 设置机器句柄数,修改/etc/security/limits.conf,详见http://beyond3518.blog.51cto.com/1360525/1764190 6. 安装snappy6.1 安装软件:Gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3, glibc 安装方法 : yum install xxx
6.2 安装glibc方法 :
6.2.1到192.168.9.110的/data/server/glibc-2.14.tar.gz拷贝文件,把该文件拷贝到/usr/local目录下6.2.2 进入/usr/local目录下, cd/usr/local6.2.3 解压glibc-2.14.tar.gz, tar -zxvfglibc-2.14.tar.gz6.2.4 新建目录/usr/local/glibc, mkdir/usr/local/glibc6.2.5 进入/usr/local/glibc目录, cd/usr/local/glibc6.2.6 运行命令export CFLAGS=”-g -O2″6.2.7 运行命令/usr/local/glibc-2.14/configure –prefix=/usr –disable-profile –enable-add-ons –with-headers=/usr/include –with-binutils=/usr/bin6.2.8 运行命令 make
6.2.9 运行命令 make install
6.2.10 验证是否安装成功 :运行命令 :ll /lib64/libc.so.6 , 如果显示结果/lib64/libc.so.6 -> libc-2.14.so , 则安装成功
7. 修改hadoop的slaves配置文件,添加新增节点,并把该配置文件发送到所有其他节点上去8. 添加Datanode对于新添加的Datanode节点,需要启动datanode进程,从而将其添加到集群 8.1 在新增的节点上,运行sbin/hadoop-daemon.sh start datanode 启动datanode进程8.2 在新增的节点上, 运行sbin/yarn-daemon.sh start nodemanager 启动nodemanager进程8.3 然后在namenode通过hdfs dfsadmin -report查看集群情况8.4 最后还需要对hdfs负载设置均衡,因为默认的数据传输带宽比较低,可以设置为64M,即hdfs dfsadmin -setBalancerBandwidth 67108864即可8.5 默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%8.6 然后启动Balancer,sbin/start-balancer.sh -threshold 5,等待集群自均衡完成即可9. 添加Nodemanager由于Hadoop 2.X引入了YARN框架,所以对于每个计算节点都可以通过NodeManager进行管理,同理启动NodeManager进程后,即可将其加入集群9.1 在新增节点,运行sbin/yarn-daemon.sh start nodemanager即可9.2 在ResourceManager,通过yarn node -list查看集群情况10. 修改hbase的regionserver免费云主机域名s配置文件,添加新增节点.并把该配置文件发送到所有其他节点11. 在新增的节点上,启动regionserver. 运行hbase-daemon.sh start regionserver即可
12. 修改InputService/StoreService服务器的/etc/hosts文件,添加新节点的域名

相关推荐: 修改hostname后导致oracle客户端无法连接怎么办

本篇内容介绍了“修改hostname后导致oracle客户端无法连接怎么办”的有关知识,在实际案例的操作过程中,免费云主机域名不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!虚拟机centos7中刚装…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 01/20 20:01
下一篇 01/20 20:01