批发商城,张文慈微博,导火线电影下载
python 环境下文件的读取问题,请参见拙文 python基础之文件读取的讲解
这是一道著名的 python 面试题,考察的问题是,python 读取大文件和一般规模的文件时的区别,也即哪些接口不适合读取大文件。
1. read() 接口的问题
f = open(filename, 'rb') f.read()
我们来读取 1 个 nginx 的日至文件,规模为 3gb 大小。read() 方法执行的操作,是一次性全部读入内存,显然会造成:
memoryerror
...
也即会发生内存溢出。
2. 解决方案:转换接口
for line in f.reanlines(): ...
while true: line = f.readline() if not line: break
while true: block = f.read(1024) if not block: break
3. 真正 pythonic 的方法
真正 pythonci 的方法,使用 with 结构:
with open(filename, 'rb') as f: for line in f: <do something with the line>
对可迭代对象 f,进行迭代遍历:for line in f
,会自动地使用缓冲io(buffered io)以及内存管理,而不必担心任何大文件的问题。
there should be one – and preferably only one – obvious way to do it.
reference
how to read large file, line by line in python
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对移动技术网的支持。如果你想了解更多相关内容请查看下面相关链接
如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复
Python爬虫:Request Payload和Form Data的简单区别说明
浅谈Python中threading join和setDaemon用法及区别说明
Python3-异步进程回调函数(callback())介绍
python继承threading.Thread实现有返回值的子类实例
Python中使用threading.Event协调线程的运行详解
网友评论