1)hadoop預設不支援lzo壓縮,如果需要支援lzo壓縮,需要新增jar包,並在hadoop的cores-site.xml檔案中新增相關壓縮配置。
2)hadoop常用埠號
3)hadoop配置檔案以及簡單的hadoop集群搭建
4)hdfs讀流程和寫流程
5)mapreduce的shuffle過程及hadoop優化(包括:壓縮、小檔案、集群優化)
6)yarn的job提交流程
7)yarn的預設排程器、排程器分類、以及他們之間的區別8)
hdfs
儲存多目錄 9
)hadoop
引數調優 10
)專案經驗之基準測試
Hadoop總結 相關面試題
1.1 簡要描述如何安裝配置apache的乙個開源hadoop 使用root賬戶登入 修改ip 修改host主機 配置ssh免密登入關閉防火牆 1 5可以簡單說成準備一台伺服器 安裝jdk解壓hadoop安裝包配置hadoop核心檔案 hadoop env.sh,core site.xml,mapr...
hadoop 相關知識
hadoop 2.x common hdfs 儲存資料 namenode 儲存檔案系統的元資料,命名空間namespace datanode 儲存資料 secondarynamenode 輔助namenode工作 週期性的合併倆個檔案 yarn hadoop 作業系統 data 資料作業系統 con...
hadoop相關介紹
大資料 指無法在一定時間範圍內用常規軟體進行捕捉,管理和處理的資料集合,需要新處理模式才能具有更強的決策力,洞察發現力,和流程優化的能力的海量 高增長率和多樣化的資訊資產。主要解決海量資料的儲存,海量資料的分析計算 tb,pb,eb 特點 大量 volume 高速 velocity 多樣 varie...