集群使用的是一台實體加5臺虛擬（分布在兩台實體機上）
後來實體機的儲存不夠用了，就把虛擬機器轉移到了網路儲存上
然後就悲劇了
效能急劇下降
是實體機網絡卡的瓶頸造成的
原來在實體機的時候，虛擬機器在進行hadoop運算時只需要走乙個相互間的通訊
然而，在遷移到網路儲存以後，則多了乙個過程，既要進行相互間的通訊，還多了乙個網路儲存的過程，程式設計了如下
虛擬機器a==》a的網路儲存==》虛擬機器a==》虛擬機器b==》b的網路儲存==》虛擬機器b..........................
理解hadoop計算過程的話就會明白這回增加多少的網絡卡負荷，結果瓶頸在了網絡卡上
這就使得以記憶體作為快取的量急劇增加，機器在監控軟體上一片彪紅～～～
最可怕的是計算過程增加很多
另外，4g的機器作為datanode，確實傷不起
自建hadoop集群遷移到EMR之資料遷移篇
自建集群要遷移到emr集群，往往需要遷移已有資料。本文主要介紹hdfs資料和hive meta資料如何遷移。已按需求建立好emr集群。主要依靠distcp,核心是打通網路，確定hdfs引數和要遷移內容，測速，遷移。需要自建集群和emr各個節點網路互通。同為vpc網路只需要同乙個安全組，不同的安全組需...
Hadoop系列 7 資料儲存之資料儲存模型
1 關係模型 主要以表的形式儲存資料，表中每一行 row 為乙個記錄，每列都有名稱和型別 2 nosql模型 1 鍵值對資料模型 有乙個特定的key和乙個value指標，指向特定的資料。適用 通過key對資料進行查詢和修改等操作 不適用 側重於批量查詢 更新的海量儲存系統，以及複雜邏輯操作 優點 資...
Monkey壓力測試（5） log日誌儲存
1.只做壓力測試，不儲存日誌 adb shell monkey p com.example.hello 102 將日誌儲存在電腦上的e log1.txt檔案中adb shell monkey p com.example.hello 10 e log1.txt執行結果 檢視日誌檔案 3 儲存日誌的詳細...