新建虛擬機器
修改虛擬機器的靜態ip
修改主機名：
關閉防火牆
systemctl stop firewalld.service#停止firewall
systemctl disable firewalld.service#禁止firewall開機啟動
hadoop(可自定義名字)使用者
useradd -m hadoop -s /bin/bash # 建立新使用者hadoop
passwd hadoop # 設定使用者密碼
hadoop使用者具有root許可權
visudo # 為 hadoop 使用者增加管理員許可權
# 在 root all=(all) all下新增一行 hadoop all=(all) all
解除安裝現有的jdk將jdk包匯入到linux下相關目錄中
檢視是否匯入成功
解壓jdk包到相關目錄下
配置jdk環境變數
驗證jdk是否安裝成功
注：修改後的檔案使用source命令使該檔案生效
將hadoop包匯入到linux下相關目錄中
檢視是否匯入成功
解壓hadoop包到相關目錄下
配置hadoop環境變數
測試hadoop是否安裝成功
注：修改後的檔案使用source命令使該檔案生效；若hadoop命令仍不能使用，可嘗試重啟虛擬機器
etc目錄：hadoop的配置檔案目錄，存放hadoop的配置檔案
include目錄
lib目錄：存放hadoop的本地庫（對資料進行壓縮解壓縮功能）
libexec目錄
license.txt目錄
notice.txt目錄
readme.txt目錄
Hadoop到底能做什麼？怎麼用hadoop？
調研hadoop頗久，就是想知道hadoop是什麼？hadoop能做什麼？怎麼用hadoop？最主要是這三塊，至於投入和風險也會隨之出來 濃縮了我幾十頁的調研方案啊！hadoop是什麼？hadoop是乙個開源的框架，可編寫和執行分布式應用，處理大規模資料，是專為離線和大規模資料分析而設計的，並不適合...
8 hadoop學習筆記02
一 hdfs架構 主從結構 1 namenode nn 名稱節點 a 檔案的名稱 b 檔案的目錄結構 c 檔案的屬性 許可權 副本數 建立時間 d 乙個檔案被對於切割哪些資料塊 包含副本數的塊 對應分布在哪些datanode blockmap塊對映 nn是不會持久這種對映關係的。是通過集群的啟動和執...
《Hadoop權威指南》第一章初始Hadoop
我們已經進入了乙個資料大 的時代！有大量資料需要儲存和處理 硬碟儲存容量多年來不斷提公升的同時，訪問速度卻沒有與時俱進。可採用分布式儲存。但是存在兩個問題，1.硬體故障問題。解決辦法 a.冗餘硬碟陣列 raid b.hadoop的檔案系統hdfs。2.多數任務需要某種方式結合大部分資料來共同分析。關...