請教,需要處理的資料量太大怎麼辦?
情況是這樣的:
資料庫中有幾個表,
每個表記錄都超過10萬條,
在查詢時需要交叉連線查詢(outer join)三個表,這就造成資料庫會生成一千萬條以上記錄的情況,所以這樣每查詢一次都需要兩秒以上時間.像這樣的查詢客戶每次請求都需要執行好幾百次,所以要等十幾分鐘才能結束.
有什麼樣的方法可以讓資料庫執行速度快一點嗎?
資料庫結構是不可以修改的.
這是為乙個特種行業做科學計算的程式,以後資料量還在不斷增大,資料庫psql安裝在linux系統上面記憶體2g,cup3.0,伺服器硬碟.
資料太大爆記憶體怎麼辦？
處理大型 ml 資料檔案的七種思路 1.分配更多記憶體 有的機器學習工具 庫有預設記憶體設定，比如 weka。這便是乙個限制因素。你需要檢查一下 是否能重新設定該工具 庫，分配更多記憶體。對於 weka，你可以在開啟應用時，把記憶體當作乙個引數進行調整。2.用更小的樣本 你真的需要用到全部資料嗎?可...
MySQL 資料量太大怎麼提公升查詢效能？
比如隨著業務的發展，訂單表的資料量越來越大，這個時候查詢變慢了，我們可以採取什麼措施來提公升查詢效能呢？當單錶的訂單資料太多，多到影響效能的時候，首選的方案是，歸檔歷史訂單。所謂歸檔，其實也是一種拆分資料的策略。簡單地說，就是把大量的歷史訂單移到另外一張歷史訂單表中。為什麼這麼做呢？因為像訂單這類具...
大資料量報表展現慢容易卡死，怎麼辦？
大資料量報表展現效能優化方案主要有以下幾種 1.可以在資料庫端做一些優化配置，例如 新增索引 優化 sql 取數效能等 或者優化系統配置 開啟快取機制 配置集群等。但是效果一般不會太明顯 2.採用非同步載入方式，即一邊呈現一邊讀取，而不是一次性把資料讀出來放到記憶體 這樣什麼軟體都得被卡死 這種非同...