有可能會鎖表，請在業務量低峰處理。表資料量33327402條
新增主鍵
alter tabletreasurebox.deductiondrop primary key, add primary key (id,date_ct);
修改期間發現mysql所在的磁碟空間急劇上公升
網上描述為正常現場，維護索引本來就是個很大的記憶體開銷，它需要給每行資料建立新的索引檔案，掃瞄10g左右的資料量飆公升很正常，上公升了約12g。有大佬可以幫忙解讀下。感謝！！為啥要新建主鍵，因為分割槽的字段必須要為主鍵。
接下來開始新建分割槽（乙個季度分為乙個區，按需拆分，目前資料檔案控制在1g左右）
約半小時執行完畢，原分割槽表9g+。
Python處理千萬級資料
從別人的 裡找到要用的資料的原始資料自己做過濾 搗鼓了兩天覺得 太慢開始用pandas做處理 不得不說最大的感觸就是 pandas 以及numpy在一定程度上在還原matlab 比如matlab中利用邏輯值取數 元素的用法，pandas中有幾乎一樣的方法 test 同時pandas中有很多很好用的方...
千萬級資料優化記錄
每個動作都會生產一條動態資料，如今已經生成了一千多萬條資料，而且正以每天好幾萬的速度迅速增長，頻繁的讀寫導致 rds 資料庫例項壓力非常大，該庫還有核心業務的資料，為了避免對核心資料的影響，決定將其分出來。結合其業務特點，決定使用 mongdb，那麼第乙個問題就是如何同步這些資料了。不能停止服務，還...
mysql千萬級資料查詢
1.mysql的資料查詢,大小欄位要分開,這個還是有必要的,除非一點就是你查詢的都是索引內容而不是表內容,比如只查詢id等等 2.查詢速度和索引有很大關係也就是索引的大小直接影響你的查詢效果,但是查詢條件一定要建立索引,這點上注意的是索引字段不能太多，太多索引檔案就會很大那樣搜尋只能變慢 3.查詢指...