当前位置: 移动技术网 > IT编程>脚本编程>Python > python分块读取大数据,避免内存不足的方法

python分块读取大数据,避免内存不足的方法

2019年01月09日  | 移动技术网IT编程  | 我要评论

现代奇门遁甲3,赤道与北极简谱,消防栓规格

如下所示:

def read_data(file_name):
 '''
 file_name:文件地址
 '''
 inputfile = open(file_name, 'rb') #可打开含有中文的地址
 data = pd.read_csv(inputfile, iterator=true)
 loop = true
 chunksize = 1000 #一千行一块
 chunks = []
 while loop:
  try:
   chunk = dcs.get_chunk(chunksize)
   chunks.append(chunk)
  except stopiteration:
   loop = false
   print("iteration is stopped.")
 data = pd.concat(chunks, ignore_index=true)
 #print(train.head())
 return data

以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持移动技术网。

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网