hadoop如何部署

1355913552 • 10/18 17:36 • Linux技术 • 阅读 133

这篇文章将为大家详细讲解有关hadoop如何部署，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。 Hadoop的三种模式：
Standalone Operation 单机模式不开发不生产没有进程
Pseudo-Distributed Operation 伪分布式开发不生产独立进程但是只部署在1台机器
Fully-Distributed Operation 分布式开发生产独立进程但是只部署在n台机器

部署：
1.解压
命令：tar -xzvf hadoop-2.8.1.tar.gz

2.配置hosts文件
vi /etc/hosts 然后再尾部加上自己的IP和机器名字
如：

3.修改权限

4.配置文件
part1:
切换到hadoop用户后再切换到我的hadoop资源目录

从官网获取配置代码，添加到configuration配置里

更改localhost为我们自己的ID

part2:指令：vi etc/hadoop/hdfs-site.xml修改文件hdfs-site.xml

5.无密码ssh
输入指令ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa

继续执行cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

指令执行完成后用ssh 192.168.137.252来检查，如果结果仍然是自己的话就成功了。

这里可能会要给hadoop用户设置进入密码，可以去root用户使用命令passwd hadoop（可以是你的hadoop用户名）设定。

6.namenode格式化
首先切换用户到hadoop用户，然后我们跳转到/opt/software/hadoop…. 即hadoop的文件目录下了，输入指令bin/hdfs namenode -format，此事如果报错为（WARN net.DNS: Unable to determine local hostname -falling back to “localhost”java.net.UnknownHostException: ruozehadoop001.localdomain: ruo 香港云主机zehadoop001.localdomain: unknown error
），我们需要进入文件/etc/sysconfig/network中，vi编辑它，变成如图：

如果没有报错则结果为：

7.启动
还是在hadoop文件目录下vi进入文件vi etc/hadoop/hadoop-env.sh，按I修改文件尾部添加内容为如图：
输入指令：sbin/start-dfs.sh得到如图结果则为成功:
输入JPS查看结果为：

关于“hadoop如何部署”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。

相关推荐: python3 str或bytes怎么实现转换函数

这篇文章主要讲解了“python3 str或bytes怎么实现转换函数”，文中香港云主机的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“python3 str或bytes怎么实现转换函数”吧！感谢各位的阅读，以上就是“…