怎么用ubuntu docker搭建Hadoop集群环境


这篇文章主要介绍了怎么用ubuntu docker搭建Hadoop集群环境的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇怎么用ubuntu docker搭建Hadoop集群环境文章都会有所收获,下面我们一起来看看吧。docker安装1、国际惯例更新下apt软件包的源
2、安装软件包以允许apt通过https使用存储库3、因为被墙使用教育网镜像:复制代码代码如下:curl -fssl https://mirrors.ustc.edu.cn/docker-ce/linux/ub 香港云主机untu/gpg | sudo apt-key add4、同样5、更新下我们的软件源
6、安装docker
7、启动docker服务
or
8、觉得有必要可以设置开机自带启动
9、关闭自启动
10、国内访问docker会受限制,可以使用加速服务,阿里云、网易云、daocloud
11、运行docker run hello-world测试是否安装成功
12、想要安装其他image 可以到docker hub上找
或是直接在github上搜索相应docker搭建hadoop集群搭建过程很简单

上步骤说明很详细:
1、pull镜像,速度慢的换国内镜像源
200多m不算大,我下过jupyter官方pyspark的docker 5g…
2、克隆项目到本地
其实只用到里面的 start-container.sh 文件也可以单独下,复制粘贴啥的
3、start-container.sh 需要修改一下 cd 到文件目录sudo gedit start-container.sh修改如下

开放9000端口还有创建共享文件夹方便以后使用
4、保存之后,创建docker-hadoop网络5、开启容器
6、开启hadoop集群
7、测试一下hadoop,在hdfs上创建 test/input 目录8、运行word-count程序
结果如下
关于“怎么用ubuntu docker搭建Hadoop集群环境”这篇文章的内容就介绍到这里,感谢各位的阅读!相信大家对“怎么用ubuntu docker搭建Hadoop集群环境”知识都有一定的了解,大家如果还想学习更多知识,欢迎关注开发云行业资讯频道。

相关推荐: python json文件格式如何转换

今天小编给大家分享一下python json文件格式如何转换的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。说明1、JSON是一种便于信息交流的文…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 07/03 22:09
下一篇 07/03 22:09

相关推荐