hadoop集群搭建:
整理的很好
具體到我用的版本(2.4.1):
遇到的一些問題:
1. jdk版本問題
2. 環境變數配置問題
3. hadoop配置:core-site.xml, hdfs-site.xml等
4.資料夾許可權問題，(非root使用者必須具有hadoop相關資料夾及其子資料夾的寫許可權)
5. datanode啟動失敗:未停止hadoop服務的情況下重啟機器，導致namenode與datanode不一致(解決方法:在hdfs還沒有資料的前提下重新格式化namenode)
6. hadoop本地庫與系統版本不一致引發的問題:
以下元件只需在namenode節點下安裝即可
安裝flume:
安裝hive:
安裝oozie:
大資料測試環境常用操作語句
1.hdfs相關 hdfs dfs mkdir hdfs路徑 舉例 hdfs dfs mkdir opt data dspanalysis hdfs dfs rm r opt data dspanalysis 因有部分任務需要 success，下游程式才會繼續跑 hadoop fs touchz o...
大資料測試方法
一.功能性測試 大資料功能主要涉及系統實現面向大資料分析應用的posix api，包括檔案讀取與訪問控制，元資料操作，鎖操作等功能 大資料分析系統的posix語義不同，實現的檔案系統api也不同，功能測試要覆蓋到大資料系統涉及實現的api和功能點 功能測試工作量大，應該重點考慮應用自動化測試方法進行...
大資料測試小結
1.etl測試 etl，extract transform load 的縮寫，將資料從 端經過抽取 extract 轉換 transform 載入 load 至目的端的過程.etl工具較多，用過的是informatica.它從目標表抽取資料載入到結果表 hive 資料庫.測試思路 a.測試抽取的符合...