我的hadoop大資料之路（二）

2021-07-09 16:52:16 字數 1148 閱讀 3124

hadoop的安裝包中的conf目錄,那裡有很多配置，但只需對其中的三個檔案進行修改：core-site.xml,hdfs-site.xml 和mapred-site.xml。

1、首先我們修改core-site.xml檔案：

fs.default.name


hdfs://localhost:9000
這個是hadoop的核心配置，至少需要配置hdfs的位址及埠號，以上是最簡單的配置方法。這裡詳細說明一下：fs.default.name 用於指定namenode的ip位址和埠號，localhost就是hdfs namenode的位址，9000是hdfs的namenode rpc互動埠。

2、配置hdfs-site.xml

這裡主要配置hdfs的相關屬性引數，簡單配置如下：

dfs.replication


1dfs.name.dir


/home/moon/hdfs-filesystem/name


dfs.data.dir


/home/moon/hdfs-filesystem/data
這裡的moon是我的使用者，建議把檔案都放裡面，我之前就是放在別的檔案，還沒有許可權，一直permission denied。dfs.replication 用於指定hdfs中每個block塊被複製的次數，起到資料冗餘備份的作用。一般經常設定為3，這裡是偽分布式，只有乙個節點，一次設定為1。dfs.name.dir用於配置hdfs的namenode的元資料，以逗號隔開，hdfs會把元資料冗餘複製到這些目錄下。dfs.data.dir用於配置hdfs的datanode的資料目錄，會把資料存在這些目錄下。

3、配置map-site.xml

mapred.job.tracker


localhost:9001
mapred.job.tracker是mapreduce jobtracker 的ip位址以及埠號，localhost就是mapreduce jobtracker的位址，9001是mapreduce jobtracker rpc互動埠。

然後就是配置，然後直接使用hadoop namenode -format用於格式化檔案系統。然後start-all.sh啟動。ok第二部分完畢。

我的大資料學習之路

2020年是艱難的一年，公司效益不好，每個月到手的工資變少了，從那一刻開始有了危機意識，我的這份工作是傳統行業，在畢業選職業的時候沒有認真對待，一步錯步步錯，現在我開始是從新規劃自己的職業路線，這樣付出了時間和金錢的代價。2021年我的願望是跳到網際網路公司，做大資料相關的工作 同時自己的生活也開始...

大資料之路 二 MapReduce

mapreduce是一種分布式的計算框架，mapreduce由jobtracker和tasktracker組成。jobtracker負責資源管理和作業控制，tasktracker負責任務的執行。程式會根據inputformat將輸入檔案分割成splits，每個split會作為乙個map task的輸...

迷茫中 我走上hadoop之路

我走上hadoop之路是因為乙個 那段時間我在上海實習，對工作不是很滿意，工資也不高，但對以後的職業發展方向不明確，不知道往哪條路上走，糾結對生存還是生活的思考，現在想來就如同思考 想上清華還是北大 一樣。有一天接到了老師的 告訴我學校有個計算機的比賽問我願不願意參加？我說好！於是便開始看這方面的資...