这篇文章将为大家详细讲解有关MapReduce的基本内容是什么，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。1、WordCount程序1.1 WordCount源程序1.2 运行程序，Run As->Java Applicatiion
1.3 编译打包程序，产生Jar文件2 运行程序2.1 建立要统计词频的文本文件wordfile1.txtSpark HadoopBig Datawordfile2.txtSpark HadoopBig Cloud2.2 启动hdfs，新建input文件夹，上传词频文件cd /usr/local/hadoop/./sbin/start-dfs.sh./bin/hadoop fs -mkdir input./bin/hadoop fs -put /home/hadoop/wordfile1.txt input./bin/hadoop fs -put /home/hadoo开发云主机域名p/wordfile2.txt input2.3 查看已上传的词频文件：hadoop@dblab-VirtualBox:/usr/local/hadoop$ ./bin/hadoop fs -ls .
Found 2 items
drwxr-xr-x – hadoop supergroup 0 2019-02-11 15:40 input
-rw-r–r– 1 hadoop supergroup 5 2019-02-10 20:22 test.txt
hadoop@dblab-VirtualBox:/usr/local/hadoop$ ./bin/hadoop fs -ls ./input
Found 2 items
-rw-r–r– 1 hadoop supergroup 27 2019-02-11 15:40 input/wordfile1.txt
-rw-r–r– 1 hadoop supergroup 29 2019-02-11 15:40 input/wordfile2.txt2.4 运行WordCount./bin/hadoop jar /home/hadoop/WordCount.jar input output屏幕上会输入大段信息然后可以查看运行结果：hadoop@dblab-VirtualBox:/usr/local/hadoop$ ./bin/hadoop fs -cat output/*
Hadoop 2
Spark 2关于MapReduce的基本内容是什么就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
今天小编就为大家带来一篇介绍Mysql数据库的数据模型的文章。小编觉得挺实用的，为此分享给大家做个参考。一起跟随小编过来看看吧。层次模型层次模型是数据库系统最早使用的一种模型，它的数据结构是一棵“有向树”。根结点在最上端，层次最高，子结点在下，逐层排列。层次模…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
