1、雲盤儲存系統通過hdfs實現
2、hadoop三大發行版本
1)apache -->基礎版本,實際企業使用比較少
2)cloudera -->cdh(cloudera的hadoop發行版) clouderamanager(集群軟體分發及管理監控)
3)hortonworks -->hdp(hortonworks data platform)
3、日誌行為分析 -->30-50g
1.資料清洗 -->資料的不合格導致應用程式出問題(空指標異常)
2.依據需求進行資料分析(ip位址分析,訪問時間分析等)
hadoop實戰隨筆 0712
org.apache.hadoop.conf 定義了系統引數的配置檔案處理api。org.apache.hadoop.fs 定義了抽象的檔案系統api org.apache.hadoop.dfs hadoop分布式檔案系統 hdfs 模組的實現 org.apache.hadoop.mapred ha...
hadoop實戰隨筆 0720
hdfs命令 distcp 一般用於在兩個hdfs集群間傳遞資料的情況。namenode format 格式化dfs檔案系統 secondarynamenode 執行dfs的secondarynamenode程序 namenode 執行dfs的namenode程序 datanode 執行dfs的da...
hadoop實戰筆記 170816
在啟動的時候,每台hregion伺服器都會檢查自己的hlog檔案 hlog是磁碟上的記錄檔案,它記錄著所有的更新操作 看看最近一次執行flushcache之後有沒有新的更新寫入操作。如果沒有更新,就表示所有的資料都已經更新到檔案中了 如果有更新,伺服器就會先把這些更新寫入快取記憶體,然後呼叫fuls...