1.hdfs--核心引數
namenode記憶體生成配置
namenode心跳併發配置
開啟**站配置
2.hdfs集群壓測
測試hdfs寫效能 向 hdfs 集群寫 10 個 128m 的檔案
測試hdfs讀效能
3.hdfs多目錄
namenode多目錄配置
datanode多目錄配置
集群資料均衡之磁碟間資料均衡
4.hdfs擊取擴容及縮容
1.新增白名單
2.服務新伺服器
3.伺服器間資料均衡
4.黑名單退役伺服器
5.hdfs-儲存優化
1.糾刪碼策略 hdfs預設三個副本，採用就糾刪碼可以節省50%左右的儲存空間
2.異構儲存（冷熱資料分離）--不同的資料，儲存在不同型別的硬碟中，達到最佳效能的問題
3.hot儲存策略--預設儲存策略為hot
4.warm儲存策略--資料降溫warm
5.cold策略測試--資料降溫cold
6.one_ssd策略測試
7.all_ssd策略測試
8.lazy_persisit策略測試
6.hdfs故障排除
1.namenode故障處理
2.集群安全模式&磁碟修復
3.慢磁碟監控
4.小檔案歸檔
7.hdfs集群遷移
distcp
3.mapreduce資料傾斜問題
1.檢查是否空值太多造成的資料傾斜
2.能在map階段提前處理，最好先在map階段
3.設定多個reduce個數
9.hadoop-yarn生成經驗
1.調優引數列表
resourecemanager 處理排程器請求的執行緒數量 配置排程器
nodemanager使用記憶體數、nodemanager為系統保留多少記憶體，核上乙個引數二者取一即可
cpu核數、虛擬核數當作cpu核數、虛擬核數核物理核數乘數、是否讓yarn自己檢查硬體進行配置、是否開啟物理記憶體加檢查限制、是否開啟虛擬記憶體限制、虛擬記憶體物理記憶體比列
container容器相關
容器最小記憶體
容器最大記憶體
容器最小核數
容器最大核數
2.容量排程器
3.公平排程器
10.hadoop綜合調優
1.hadoop小檔案優化方法
2.測試mapreduce計算效能
3.企業開發場景案例
1.hdfs引數調優
2.mapreduce引數調優
3.yarn引數調優
移動測試測試點之功能測試測試點
4 資料更新 4.1 需要確定哪些地方需要提供手動重新整理 哪些地方需要自動重新整理 哪些地方需要手動 自動重新整理 4.2 確定哪些地方從後台切換回前台時需要進行資料更新 4.3 根據業務 速度及流量的合理分配，確定哪些內容需要實時更新，哪些需要定時更新 4.4 確定資料展示部分的處理邏輯，是每次...
登入測試點
測試點 使用者 密碼 登入按鈕 1.是否有長度限制 2.是否可以不輸入使用者名稱 3.是否可以使用特殊字元 4.是否可以使用空格 5.是否可以使用空白 6.是否可以英文 7.是否可以使用中文 8.是否可以大寫使用者名稱 9.是否可以小寫使用者名稱 10.密碼是否可以用大寫 11.密碼是否可以用小寫 ...
介面測試測試點
大家都知道，測試的本質的發現問題，然後跟蹤解決問題 但是解決問題有個通用成本理論 問題越早發現解決的成本越低，成本從大到小排列為 產品需求規格說明書 開發需求分析報告 開發詳細設計說明書 測試需求分析說明書 測試用例 code review 轉測試驗收 測試人員提交bug 產品 運營驗收 客戶投訴 ...