centos下安装分布式Hadoop 3.1.1


一)安装环境
centos 7JDK 1.8.0_181VMware 12 prohadoop 3.1.1
二)安装环境准备分布式系统准备下面示例中,我安装了3个独立的虚拟机系统,其中HW-Machine作为master,另外2台分别为slaves:
Java环境配置 //3台虚拟机均需配置JDK安装包的获取以及Java环境的配置,请参考另一篇博文《Centos下Java环境安装配置》。静态IP设置//3台虚拟机均需设置,并修改/etc/hosts文件及/etc/hostname文件由于分布式系统配置时,会写入系统主机名或者主机IP,因此我们需要对Hadoop环境所用的系统主机设置静态IP,具体设置方法,请参考另一篇博《VMware中Centos系统设置静态IP》。我这里的设置情况如下:
SSH免密码登录配置//3台虚拟机均需配置Hadoop的master与slave 香港云主机之间的数据传输会使用SSH,因此我们还需要对Hadoop环境所用的系统主机设置SSH免密码登录,具体设置方法,请参考另一篇博文《Centos设置SSH免密码远程登录》。

三)Hadoop安装配置注:a. hadoop要求,所有用到的主机系统需要建立相同的用户,在本例中我直接使用root账号,因此所有操作均是以root账号;b. 对应下面配置文件修改,未特别说明,只需修改master上面的文件。Hadoop下载直接去apache官网下载http://mirrors.hust.edu.cn/apache/ ,如本次实验中下载的是: hadoop-3.1.1.tar.gz直接解压下载软件包: tar -zxvf hadoop-3.1.1.tar.gz -C DestinationFolder,比如我解压到了/usr/local/目录下面(这里的3台系统均需下载并解压)配置文件修改3.1 修改core-site.xml文件,文件位置/xxx/etc/hadoop/目录下,3个系统都必须修改该文件3.2 修改hadoop-env.sh文件,文件位置/xxx/etc/hadoop/目录下,3个系统都必须修改该文件或者如下修改(注意JAVA_HOME与HADOOP_HOME根据你自己环境配置设定),多添加红框内的内容,这样设置后可以省略后面的3.7,3.8,3.9三个步骤:
3.3 修改hdfs-site.xml文件,文件位置/xxx/etc/hadoop/目录下,只需修改master节点或者,按如下设置(注意根据master实际配置,修改name、data目录路径及namenode的地址):

3.4 修改mapred-site.xml文件,文件位置/xxx/etc/hadoop/目录下,只需修改master节点注意:该文件可以只用设置此一个属性,其他会默认初始化。3.5 修改workers文件,文件位置/xxx/etc/hadoop/目录下,只需修改master节点注意:这里可以只设置slave1和slave2,这样master系统就不会作为DataNode节点。3.6 修改yarn-site.xml文件,文件位置/xxx/etc/hadoop/目录下,只需修改master节点注意:这里也可以只用设置yarn.resourcemanager.hostname和yarn.nodemanager.aux-services属性。3.7 修改start-dfs.sh及stop-dfs.sh文件,文件位置/xxx/sbin/目录下,在这两个文件头部加入如下变量:HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root3.8 修改start-yarn.sh和stop-yarn.sh文件,文件位置/xxx/sbin/目录下,在这两个文件头部加入如下变量:YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root 3.9 修改start-all.sh和stop-all.sh文件文件位置/xxx/sbin/目录下,在这两个文件头部加入如下变量: TANODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root4. 初始化Hadoop系统,切换至/xxx/bin目录下 运行命令:./hdfsnamenode -format不报错返回 “Exiting with status 0” 为成功,“Exiting with status 1”为失败 5. 启动Hadoop并验证,切换至/xxx/sbin目录下 运行命令启动: ./start-all.sh 运行命令验证: jps, 如果看到以下服务则表示已经成功启动服务:
或者也可打开浏览器,输入http://master:50070验证,可看到如下网页: 至此,Hadoop安装验证完毕!

注意:安装配置Hadoop3.1.1还可以结合参考:https://blog.csdn.net/qq_41684957/article/details/81946128

相关推荐: python解析json的代码怎么写

今天小编给大家分享一下python解析json的代码怎么写的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了 香港云主机解一下吧。JSON(JavaScrip…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 07/23 16:52
下一篇 07/23 16:52

相关推荐