PHP MYSQL 查詢大資料遍歷表

php：php 5.3.6 (cli) (built: jun 15 2011 16:29:50)

mysql：5.1.51

如果我們有的一張表有幾百萬或幾千萬的記錄，我們要使用 php 將所有的記錄都獲取過來(遍歷資料表)進行處理。查詢語句：

select * from largetable;

ps：為了證明上面的做法是最佳的辦法，我嘗試使用 largetable 中的乙個欄位做 where ，以及 limit，offset 。上面那種 where 獲得結果很慢，雖然用了索引。後面這種 limit 可以讓你有一種想死的感覺(有興趣可以了解下，《分頁優化》)。

以 mysql 以及pdo_mysql 為例，嘗試直接使用以下**，必然會出現超記憶體的情況：

$result = mysql_query($sql);
while ($rowset = mysql_fetch_assoc($mysql)) {
...$stmt = $dbh->prepare($sql);
$stmt->execute();
while ($row = $stmt->fetch(pdo::fetch_assoc, pdo::fetch_ori_next)) {
...

原因在於在查詢執行後，php 的mysql、pdo_mysql 將查詢結果全部快取到了客戶端，也就是 php 執行所在機器上。這樣如果我們要 select * from largetable 查詢的記錄在百萬以上的時候，快取的結果就會非常大，超出 php 使用記憶體。所以為了避免這樣情況就需要關閉客戶端的快取。

以下是 pdo_mysql 在查詢 ~100w 以及 ~200w (540m)資料結果(因為我的 php 記憶體使用設定了1g所以沒掛：) )

可以很明顯的看出在快取結果後占用記憶體驚人…，當我們處理千萬資料的時候必掛。

以下是 pdo_mysql 關閉快取查詢 ~200w 的資料結果。這下處理千萬以及e級的資料的時候，對記憶體表示很淡定。

ps：如果你要處理的資料就幾十萬，你還是調大點記憶體好了。比如 mysql：

mysql_unbuffered_query() 的好處是有代價的：在 mysql_unbuffered_query() 返回的結果集之上不能使用 mysql_num_rows() 和 mysql_data_seek()。此外在向 mysql 傳送一條新的 sql 查詢之前，必須提取掉所有未快取的 sql 查詢所產生的結果行。

PHP MYSQL 查詢大資料遍歷表

php mysql匯出大資料

php mysql資料庫查詢例項

php mysql查詢 php查詢mysql的例項

PHP MYSQL 查詢大資料 遍歷表

php mysql匯出大資料

php mysql資料庫查詢例項

php mysql查詢 php查詢mysql的例項

相關推薦

PHP MYSQL 查詢大資料遍歷表