前言
本文主要介绍了关于php利用pdo从mysql读取大量数据处理的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧。
环境
适用场景
需要处理一定数据集业务
pdo 关键设置
$dbh = new \pdo($dsn, $user, $pass); # 关键设置,如果不设置,php依旧会从pdo一次取出数据到php $dbh->setattribute(\pdo::mysql_attr_use_buffered_query, false); //perpare里的游标属性不是必须的 $sth = $dbh->prepare("select * from `order`", array(\pdo::attr_cursor => \pdo::cursor_scroll)); $sth->execute();
生成器
生成器,迭代数据操作
本生成器可省略
尝试代码
class test { public function test() { set_time_limit(0); $dbms='mysql'; //数据库类型 $host=c('db_host'); //数据库主机名 $dbname=c('db_name'); //使用的数据库 $user=c('db_user'); //数据库连接用户名 $pass=c('db_pwd'); //对应的密码 $dsn="$dbms:host=$host;dbname=$dbname"; $dbh = new \pdo($dsn, $user, $pass); $dbh->setattribute(\pdo::mysql_attr_use_buffered_query, false); $sth = $dbh->prepare("select * from `order`"); $sth->execute(); $i = 0; $newline = php_sapi == 'cli' ? "\n" : '<br />'; foreach ($this->cursor($sth) as $row) { // var_dump($row); echo $row['id'] . $newline; $i++; } echo "消耗内存:" . (memory_get_usage() / 1024 / 1024) . "m" . $newline; echo "处理数据行数:" . $i . $newline; echo "success"; } public function cursor($sth) { while($row = $sth->fetch(\pdo::fetch_assoc)) { yield $row; } } } $test = new test(); $test->test();
输出
1 ... //省略部分id 804288 消耗内存:"0.34918212890625m 处理数据行数:254062 success
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对移动技术网的支持。
如对本文有疑问, 点击进行留言回复!!
thinkphp5 + ajax 使用formdata提交数据(包括文件上传) 后台返回json完整实例
使用Entrust扩展包在laravel 中实现RBAC的功能
网友评论