最近在給客戶整乙個財務報表，用的nopi生成excel,客戶那每個月的資料大概有30w條，生成的excel約200張，在我們公司伺服器上跑起來妥妥的，到客戶的伺服器上就完蛋了，跑著跑著就崩潰掉了，無力吐槽，萬萬沒想到啊。總之又加了好幾天班才解決問題。
大概如下，望各位童鞋注意
1.查詢所需要處理的資料盡可能少，可以在資料庫端進行第一步處理，比如select sum(totalprice) from table group by company啦
2. 及時進行垃圾**
3.如果處理時間過長可以分批次處理
4.不要相信客戶的伺服器和自己的伺服器效能一樣，自己的伺服器爛，客戶的更爛
海量資料問題處理
閱讀 對於該問題文字只是大概給了思路，接下來則是本人進一步思考結果 本題並沒有對硬體環境進行要求，因此對映的方法為mod1000，如果有記憶體要求，則相應要進行修改。在對映完之後，硬碟上將有大量的ip，這時以ip為鍵，ip頻率為值進行hash map，考慮到ip可能會有多個，解決辦法是，建立1000...
海量資料的處理問題
筆者在實際工作中，有幸接觸到海量的資料處理問題，對其進行處理是一項艱鉅而複雜的任務。原因有以下幾個方面 一 資料量過大，資料中什麼情況都可能存在。如果說有10條資料，那麼大不了每條去逐一檢查，人為處理，如果有上百條資料，也可以考慮，如果資料上到千萬級別，甚至過億，那不是手工能解決的了，必須通過工具或...
海量資料的處理
最近在網上看到很多關於海量資料的處理方式 看了很多 很暈！其實我想象中的處理方式是 可能在技術上不知道什麼處理，也看了很多資料，說的也是讓你一知半解的方法 這裡我給出的方法並不是我想的那種，但對於處理海量資料的統計，能夠起到一定的效果！1.sql語句的分頁 select top 100 from a...