今天剛發現乙個之前沒有見過的錯誤,mysql記憶體不足。研究了好久找出了解決辦法,分享給大家。
問題:使用php查詢mysql大資料量的時候,程式尚未執行完畢,跳出警告:
fatal error: allowed memory size of 100663296 bytes exhausted (tried to allocate 103 bytes)
但是下次若要讀取更多的資料該怎麼辦呢,總不能一次次的增加,導致伺服器的記憶體都被php吃光。
介紹乙個函式:
使用memory_get_usage()方法獲得php使用的記憶體量。發現隨著讀取資料條數的增加,php使用的內存在一步步增加。
難道php在查詢mysql時的資料是存在記憶體中的?搜尋了一下,發現果真大概就是這個意思。
mysql的c api函式有mysql_use_result()和mysql_store_result()
mysql_store_result()會把結果集從mysqlserver讀到客戶端,而 mysql_use_result()只是讀取了結果集的元資訊.
1、php的mysql_query呼叫的是mysql_store_result(),自動獲取並快取結果集.
2、而php的另乙個函式mysql_unbuffered_query()則是呼叫的 mysql_use_result(),一方面,這在處理很大的結果集時會節省可觀的記憶體。另一方面,可以在獲取第一行後立即對結果集進行操作,而不用等到整個 sql 語句都執行完畢。
所以我們在讀取大量資料的時候,可以使用mysql_unbuffered_query()來替代mysql_query()。經測試,的確如此。而且相當給力,導完所有資料記憶體一直保持在1mb以內,沒有增長過.
mysql_unbuffered_query() 向 mysql 傳送一條 sql 查詢 query,但不像 mysql_query()那樣自動獲取並快取結果集。一方面,這在處理很大的結果集時會節省可觀的記憶體。另一方面,可以在獲取第一行後立即對結果集進行操作,而不用等到整個 sql 語句都執行完畢。當使用多個資料庫連線時,必須指定可選引數 link_identifier。
mysql_unbuffered_query()的好處是有代價的:在 mysql_unbuffered_query()返回的結果集之上不能使用 mysql_num_rows() 和 mysql_data_seek()。此外在向 mysql 傳送一條新的 sql 查詢之前,必須提取掉所有未快取的 sql 查詢所產生的結果行。
所以一定要結合自己的業務需求適當的選取函式啊。
PHP查詢MySQL大量資料的記憶體
這篇文章主要是從原理,手冊和原始碼分析在php中查詢mysql返回大量結果時,記憶體占用的問題,同時對使用mysql c api也有涉及。昨天,有同事在php討論群裡提到,他做的乙個專案由於mysql查詢返回的結果太多 達10萬條 從而導致php記憶體不夠用。所以,他問,在執行下面的 遍歷返回的my...
PHP查詢MySQL大量資料的記憶體
這篇文章主要是從原理,手冊和原始碼分析在php中查詢mysql返回大量結果時,記憶體占用的問題,同時對使用mysql c api也有涉及。昨天,有同事在php討論群裡提到,他做的乙個專案由於mysql查詢返回的結果太多 達10萬條 從而導致php記憶體不夠用。所以,他問,在執行下面的 遍歷返回的my...
PHP查詢MySQL大量資料的記憶體
這篇文章主要是從原理,手冊和原始碼分析在php中查詢mysql返回大量結果時,記憶體占用的問題,同時對使用mysql c api也有涉及。昨天,有同事在php討論群裡提到,他做的乙個專案由於mysql查詢返回的結果太多 達10萬條 從而導致php記憶體不夠用。所以,他問,在執行下面的 遍歷返回的my...