Spark Python操作命令三


12 数据格式[[u’3′, u’5′], [u’4′, u’6′], [u’4′, u’5′], [u’4′, u’2′]] 拆分或截取的原始数据, 可以通过 map 中的 x[0], x[1] 来获取对应列的数据
  可以通过 map 来转换为key-value 数据格式 例如: df3 = df2.map(lambda x: (x[0], x[1]))key-value 数据格式
  [(u’3′, u’5′), (u’4′, u’6′), (u’4′, u’5′), (u’4′, u’2′)] 中每一个() 表示一组数据, 第一个表示key 第二个表示value
3)PipelinedRDD 类型表示 key-value形式数据
13 RDD类型转换
userRdd = sc.textFile(“D:datapeople.json”)
userRdd = userRdd.map(lambda x: x.split(” “))结果: [Row(userAdd=’shanghai’, userAge=20, userName=’zhangsan’, userSalary=13), Row(userAdd=’beijin’, userAge=30, userName=’lisi’, userSalary=15 香港云主机)]2) 创建 DataFrame
  userDF = sqlContext.createDataFrame(userRows)if name == ‘main‘:
spark = SparkSession.builder.config(conf = SparkConf()).getOrCreate()15 dateFrame,sql,json使用详细示例
####”””
A simple example demonstrating basic Spark SQL features.
Run with:
./bin/spark-submit examples/src/main/python/sql/basic.py
“””
from future import print_functionfrom pyspark.sql import SparkSessionfrom pyspark.sql import Rowfrom pyspark.sql.types import *def basic_df_example(spark):def schema_inference_example(spark):def programmatic_schema_example(spark):if name == “main“:

相关推荐: CompletableFuture在java中报错如何处理

这篇文章主要介绍“CompletableFuture在java中报错如何处理”,在日常操作中,相信很多人在CompletableFuture在java中报错如何处理问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Comple 香港…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 07/23 16:58
下一篇 07/23 16:58

相关推荐