怎么进行Spark example的运行过程分析

1524990177 • 09/23 17:12 • Linux技术 • 阅读 105

这篇文章将为大家详细讲解有关怎么进行Spark example的运行过程分析，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。
pom.xml xsi:schemaLocation=”http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd”>
4.0.0
active
spark-test
0.0.1-SNAPSHOT

org.apache.spark
spark-core_2.10
2.1.0

SparkTest.java
import java.util.Arrays;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

import scala.Tuple2;

public class SparkTest {

public static void main(String[] args) {
SparkConf conf = new SparkConf().setAppName(“Test”).setMaster(“local”) 香港云主机;
JavaSparkContext sc = new JavaSparkContext(conf);
JavaRDD file = sc.parallelize(Arrays.asList(“Hello test”, “Hello test2”, “dds”));

JavaRDD words = file.flatMap(s -> Arrays.asList(s.split(” |t|n|r”)).iterator());

JavaPairRDD counts = words.mapToPair(s -> new Tuple2(s, 1));

counts = counts.reduceByKey((x, y) -> x + y);

System.out.println(counts.collect());
sc.close();
}

}可以单独运行，也可以提交到spark集群： spark-submit.cmd –class SparkTest D:workspacespark-testtargetspark-test-0.0.1-SNAPSHOT.jar关于怎么进行Spark example的运行过程分析就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。

相关推荐: Python包装不上怎么解决

本篇内容介绍了“Python包装不上怎么解决” 香港云主机的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！“Python包装不上怎么解决”的内容就介绍到这里了，感谢…