最近做了乙個專案，資料量每次處理在兩百萬左右，這裡記錄一下最近開發時處理大量資料的思路，主要思路是將大資料化小，多次處理，不足之處還請指出。
//讀取檔案內容
while((s = br.readline())!=null)
//清空集合
listbean.clear();
}string value = s.trim();
//將讀取到的內容放入集合中
if(!value.equals(""))
}資料處理：這裡的思路也是將資料小化然後處理，這裡使用了多執行緒，設定單個執行緒處理量，然後開啟多個執行緒處理，這裡需要考慮你的伺服器的承載能力，如果執行緒開得太多了，處理不過來，會出現蹦死的情況。例如200萬資料，我開了20個執行緒，單個執行緒處理600條。
//建立乙個執行緒池 threadpoolexecutor threadpool = new threadpoolexecutor(
mintasknumber, maxtasknumber, 3l, timeunit.seconds,
new arrayblockingqueue(mintasknumber),
new threadpoolexecutor.discardoldestpolicy());
//當正在執行的執行緒數達到最大執行執行緒數的時候等待
boolean flag = true;
while(flag)
}上面的**是我對執行緒池的乙個控制，控**務器一直最大執行緒執行，thread.sleep(1000);用while的時候，這個休眠最好不要去掉，去掉之後很影響執行效率。
對大數的處理
問題 輸入數字n，按順序列印出從1到最大的n位十進位制數。比如輸入3，則列印出1 2 3一直到999。解題思路 首先注意n沒有規定範圍，意味著n可以輸入很大的值，那麼這種情況下，無論時用整型還是長整型都會溢位。所以需要考慮大數問題。可以通過字串來解決大數問題。因為數字最大是n位的，需要用乙個n 1長...
Jcs對大資料量的處理方案
jcs的原理是利用快取獲取使用者所需要的資料，減少對資料庫的訪問，從而提高儲存效率。實現該方案的需要解決兩個問題 1.快取的資料從哪來 2.快取的資料的有效性 1.快取的資料從哪來 從根源來講，快取的資料應當在查詢過資料後放入cache，通常使用者在進行業務流程時，查詢資料 放入快取。但是這樣存在乙...
大資料的處理
大資料時代，大家都在從資料中淘金。龐大的資料量隱藏著一些重要的資訊，這些需要被挖掘，來輔助企業制定決策。龐大的資料量如何轉化為有價值的資訊呢？參考hadoop的設計，使用分布式檔案系統hdfs來儲存超大規模的資料集，使用分布式計算框架來處理資料。其中hdfs的設計 是一次寫入，多次讀取。hdfs是如...