现代奇门遁甲3,赤道与北极简谱,消防栓规格
如下所示:
def read_data(file_name): ''' file_name:文件地址 ''' inputfile = open(file_name, 'rb') #可打开含有中文的地址 data = pd.read_csv(inputfile, iterator=true) loop = true chunksize = 1000 #一千行一块 chunks = [] while loop: try: chunk = dcs.get_chunk(chunksize) chunks.append(chunk) except stopiteration: loop = false print("iteration is stopped.") data = pd.concat(chunks, ignore_index=true) #print(train.head()) return data
以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持移动技术网。
如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复
新手学习Python2和Python3中print不同的用法
Python基于os.environ从windows获取环境变量
网友评论