当前位置： 移动技术网 > IT编程>脚本编程>Python > Pandas处理超大规模数据

Pandas处理超大规模数据

2019年06月23日  | 移动技术网IT编程  | 我要评论

青木明香,邪恶力量第三季下载,笔记周笔畅

对于超大规模的csv文件，我们无法一下将其读入内存当中，只能分块一部分一部分的进行读取；

  首先进行如下操作：

import pandas as pd
reader = pd.read_csv('data/servicelogs', iterator=true)

分块，每一块是一个chunk，之后将chunk进行拼接；
loop = true
chunksize = 100000
chunks = []
while loop:
    try:
        chunk = reader.get_chunk(chunksize)
        chunks.append(chunk)
    except stopiteration:
        loop = false
        print "iteration is stopped."
df = pd.concat(chunks, ignore_index=true)

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网