我要评论spark sql是spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做dataframe并且作为分布式sql查询引擎的作用。为什么要学习spark sql？如果大家了解hive的话，应该知道它是将hive sql转换成mapreduce然后提交到集群上执行，大大简化了编写mapreduce的程序的复杂性，由于mapreduce这种计算模型执行效率比较慢。所以spark sql的应运而生，它是将spark sql转换成rdd，然后提交到集群执行，执行效率非常快！同时spark sql也支持从hive中读取数据。
spark sql也能自动解析json数据集的schema，读取json数据集为dataframe格式。().json()。该方法将string格式的rdd或json文件转换为dataframe。
需要注意的是，这里的json文件不是常规的json格式。json文件每一行必须包含一个独立的、自满足有效的json对象。如果用多行描述一个json对象，会导致读取出错。
-
需要用到的测试数据：people.json
{"name":"michael"}
{"name":"andy", "age":30}
{"name":"justin", "age":19}
-
定义路径
val path ="/root/temp/people.json"
-
读取json文件，生成dataframe：
val peopledf = spark.read.json(path)
-
打印schema结构信息
peopledf.printschema()
-
创建临时视图
peopledf.createorreplacetempview("people")
-
执行查询
spark.sql("select name from people where age=19").show
您可能感兴趣的文章:
如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！
网友评论