当前位置： 移动技术网 > IT编程>脚本编程>Python > pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例

pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例

2019年06月15日  | 移动技术网IT编程  | 我要评论

矾山连环会案,双辽房屋出租,星光大道20130928

代码如下，步骤流程在代码注释中可见：

# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import sparksession
from pyspark.sql import sqlcontext
from pyspark import sparkcontext
 
#初始化数据
 
#初始化pandas dataframe
df = pd.dataframe([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])
 
#打印数据
print df
 
#初始化spark dataframe
sc = sparkcontext()
if __name__ == "__main__":
 spark = sparksession\
  .builder\
  .appname("testdataframe")\
  .getorcreate()
 
sentencedata = spark.createdataframe([
 (0.0, "i like spark"),
 (1.0, "pandas is useful"),
 (2.0, "they are coded by python ")
], ["label", "sentence"])
 
#显示数据
sentencedata.select("label").show()
 
#spark.dataframe 转换成 pandas.dataframe
sqlcontest = sqlcontext(sc)
spark_df = sqlcontest.createdataframe(df)
 
#显示数据
spark_df.select("c1").show()
 
 
# pandas.dataframe 转换成 spark.dataframe
pandas_df = sentencedata.topandas()
 
#打印数据
print pandas_df

程序结果：

以上这篇pyspark.sql.dataframe与pandas.dataframe之间的相互转换实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持移动技术网。

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网