当前位置： 移动技术网 > IT编程>脚本编程>Python > Python最快的方式来读取大文本文件（几GB）

Python最快的方式来读取大文本文件（几GB）

2019年08月29日  | 移动技术网IT编程  | 我要评论

搭搭网,2943,zaal by gulon

我有一个大文本文件（约7 gb）。我正在寻找是否存在阅读大文本文件的最快方法。我一直在阅读有关使用多种方法作为读取chunk-by-chunk以加快进程的过程。

例如，建议

# file: readline-example-3.py

file = open("sample.txt")

while 1:
    lines = file.readlines(100000)
    if not lines:
        break
    for line in lines:
        pass # do something**strong text**

为了每秒处理96,900行文本。其他建议使用islice（）

from itertools import islice

with open(...) as f:
    while true:
        next_n_lines = list(islice(f, n))
        if not next_n_lines:
            break
        # process next_n_lines

list(islice(f, n))将返回n文件的下一行列表f。在循环中使用它将为您提供大量n行的文件

 

解决方案

with open(<file>) as fileobj:
    for lines in fileobj:
        print lines # or do some other thing with the line...

将在此时读取一行内存，并在完成后关闭文件...

本文首发于，博客园同步更新

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网