未加星标

PHP使用PDO从mysql读取大量数据处理详解

字体大小 | |
[开发(php) 所属分类 开发(php) | 发布者 店小二04 | 时间 | 作者 红领巾 ] 0人收藏点击收藏

前言

本文主要介绍了关php利用PDO从mysql读取大量数据处理的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧。

环境
mysql: 5.6.34
php: 5.6
nginx: php-fpm
适用场景
需要处理一定数据集业务
从mysql读取一定数据的业务导出
一次需要处理一定的mysql业务操作更新删除等
更多需要处理一定数据集的操作
pdo 关键设置

$dbh = new \PDO($dsn, $user, $pass);
# 关键设置,如果不设置,php依旧会从pdo一次取出数据到php
$dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
//perpare里的游标属性不是必须的
$sth = $dbh->prepare("SELECT * FROM `order`", array(\PDO::ATTR_CURSOR => \PDO::CURSOR_SCROLL));
$sth->execute();
生成器
生成器,迭代数据操作
本生成器可省略
尝试代码

class Test {
public function test()
{
set_time_limit(0);
$dbms='mysql'; //数据库类型
$host=C('DB_HOST'); //数据库主机名
$dbName=C('DB_NAME'); //使用的数据库
$user=C('DB_USER'); //数据库连接用户名
$pass=C('DB_PWD'); //对应的密码
$dsn="$dbms:host=$host;dbname=$dbName";
$dbh = new \PDO($dsn, $user, $pass);
$dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $dbh->prepare("SELECT * FROM `order`");
$sth->execute();
$i = 0;
$newLine = PHP_SAPI == 'cli' ? "\n" : '<br />';
foreach ($this->cursor($sth) as $row) {
// var_dump($row);
echo $row['id'] . $newLine;
$i++;
}
echo "消耗内存:" . (memory_get_usage() / 1024 / 1024) . "M" . $newLine;
echo "处理数据行数:" . $i . $newLine;
echo "success";
}
public function cursor($sth)
{
while($row = $sth->fetch(\PDO::FETCH_ASSOC)) {
yield $row;
}
}
}
$test = new Test();
$test->test();
输出

1
... //省略部分id
804288
消耗内存:"0.34918212890625M
处理数据行数:254062
success

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。


您可能感兴趣的文章:php中mysql连接方式PDO使用详解Php中用PDO查询Mysql来避免SQL注入风险的方法全新的PDO数据库操作类php版(仅适用Mysql)PHP实现PDO的mysql数据库操作类php中数据库连接方式pdo和mysqli对比分析php基于PDO实现功能强大的MYSQL封装类实例php下pdo的mysql事务处理用法实例php mysql PDO 查询操作的实例详解php使用PDO操作MySQL数据库实例PHP PDO操作MySQL基础教程

本文开发(php)相关术语:php代码审计工具 php开发工程师 移动开发者大会 移动互联网开发 web开发工程师 软件开发流程 软件开发工程师

主题: PHPSQL数据MySQLSAPSQL注入数据处理CUUF数据库
tags: PDO,php,gt,mysql,sth,dbh,数据库,PHP,row,pdo,echo,DB,newLine,操作
分页:12
转载请注明
本文标题:PHP使用PDO从mysql读取大量数据处理详解
本站链接:https://www.codesec.net/view/574964.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 开发(php) | 评论(0) | 阅读(123)