当前位置： 移动技术网 > IT编程>数据库>MSSQL > Spark-sql结合hive使用详情

Spark-sql结合hive使用详情

2018年03月11日  | 移动技术网IT编程  | 我要评论

联想a60怎么样,名侦探柯南13,幸运骰大话骰盅必兆娱乐平台5117898

1.安装hive（配置好）

2.将配置好的hive-site.xml放入$SPARK-HOME/conf目录下

3.将mysql-xxx-connector-xx.jar放到spark集群中节点的lib目录下

4.启动spark-shell时指定mysql连接驱动位置

bin/spark-shell \
 --master spark://node1.itcast.cn:7077 \
 --executor-memory 1g \
 --total-executor-cores 2 \
 --driver-class-path /usr/local/apache-hive-0.13.1-bin/lib/mysql-connector-java-5.1.35-bin.jar

4.使用sqlContext.sql调用HQL

sqlContext.sql("select * from spark.person limit 2")

或使用org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.HiveContext
val hiveContext = new HiveContext(sc)
hiveContext.sql("select * from spark.person").show()
或者.write.mode("append").jdbc()

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网