如今的web行業 ,與比較大資料量 打交道是愈發頻繁的事情了.
其實面對大資料量的時候,如果不方便從整體設計入手,
那麼不妨嘗試一些編碼小技巧...
....
....
..
查詢 20w/次
插入 2000/次
修改 1500/次
刪除 20w/次
以上只是乙個例子,在實際情況下 還需要根據業務邏輯,字段多寡,資料庫產品,等條件去衡量
具體每一次 增改的 資料量 可以參考
1.拼接出的sql 語句字串長度
2.表字段的多少
3.實際測試的結果
刪除 在不嫌麻煩,或是有必要的情況下 可以 將 索引,主鍵等去除然後刪除完在加回去,但是一般情況下 分多批刪除也是乙個不錯的選擇
假設 100w/表 需要處理的資料 那麼此時
代表會有 100w 個物件建立於消亡
如果 在實體類中剔除乙個字段,就代表 給這100w 個物件
建立時同時減輕了 乙個欄位的負擔
所以請觀察下,你正在使用的實體類, 並把其中 必要的字段另外抽取成新的類罷
非常顯而易見的一點, 需要被處理的資料有 100w 但是 並不是這 100w 資料都要被 修改or 刪除, 有些資料是不需要可以跳過的.
所以請在詳細了解你的業務罷, 與他人討論是乙個不錯的方式,可以彌補你的思維盲點
大資料量演算法
給40億個不重複的unsigned int的整數，沒排過序的，然後再給乙個數，如何快速判斷這個數是否在那40億個數當中 位圖思想解法 include stdio.h include stdlib.h include memory.h define max num 4294967295 int mai...
大資料量處理
看看這個，異曲同工，永遠不超時 該程式是針對非常龐大的資料庫開發的，沒有用迴圈 用途 對過萬條資料的資料庫字段內容批量替換 資料庫連線 dim beeyee dbname,connstr,conn,intsn1 dim content,num,intsn,intidno,strcodea,strco...
大資料量的處理
其實這個問題老是在面試的時候提到 1。建立專門的彙總表 這個表一般是每天晚上做統計處理 建立索引 索引的話，插入和修改會變慢，也是只做統計原因之一 用來查詢，如果量非常大，那麼分表，還是大，那麼分庫,就是資料倉儲概念了 2。關聯表查詢 多表聯合查詢 的大資料，首先就是1 把多個表做成乙個統計表，或者...