linux系統針對記憶體的平衡策略的優化，適用於伺服器
#禁用不必要的服務
systemctl stop abrt-ccpp abrt-oops abrt-vmcore abrt-xorg abrtd cups gdm postfix tuned
systemctl disable abrt-ccpp abrt-oops abrt-vmcore abrt-xorg abrtd cups gdm postfix tuned
#如果不需要kvm虛擬機器的話，可禁用如下服務
systemctl stop libvirtd ksm ksmtuned qemu-guest-agent spice-vdagentd vmtoolsd
systemctl disable libvirtd ksm ksmtuned qemu-guest-agent spice-vdagentd vmtoolsd
#追加核心對髒頁控制的引數
cat >> /etc/sysctl.conf <<- eof
vm.min_free_kbytes = 10485760
vm.dirty_background_ratio = 3
vm.dirty_ratio = 80
vm.dirty_expire_centisecs = 500
vm.di
MapReduce大量小檔案問題
1.預設情況下，textinputformat對任務的切片機制是按檔案規劃切片，不管檔案多小，都會是乙個單獨的切片，都會交給maptaskz這樣，如果有大量小檔案，就會產生大量的maptask，處理效率及其低下 2.優化方法 最好的辦法 在資料處理系統的最前端 預處理 採集 就將小檔案合併成大檔案，...
快速刪除大量小檔案
由於bash會展開例如 rm aa 這樣的命令 如果後面的檔案太多就會報引數太長,所以有時候刪除大量小檔案就不適合用rm了 可以使用find先查詢在刪除 就不會出現上面那種報錯問題,可是還有乙個問題檔案太多的話 exec rm 完全沒有效率,一兩個小時估計也就只能刪除幾十萬的檔案 對於需要刪除百萬為...
關於hadoop處理大量小檔案情況的解決方法
小檔案是指那些size比hdfs的block size 預設64m 小的多的檔案。任何乙個檔案，目錄和bolck，在hdfs中都會被表示為乙個object儲存在namenode的記憶體中，每乙個object占用150bytes的記憶體空間。所以，如果有10milion個檔案，每乙個檔案對應乙個blo...