在使用mapreduce框架進行開發時，總會使用configuration類的乙個例項物件去初始化乙個任務，然後進行任務提交，而在整個任務執行過程中，客戶點例項化的configuration的物件，將作為整個任務過程中引數版本，任務執行過程中所需要的所有引數都是從客戶端例項化的configuration物件中進行獲取。
configuration初始化時主要有兩步：讀取預設檔案和讀取site級別的檔案。configuration初始化過程中，首先會讀取整個classpath中的core-default.xml、hdfs-default.xml、yarn-default.xml以及預設配置檔案。
0. 前期配置
filesystem
fs=null;
@before
public
voidinit()throwsexception
1. 上傳檔案，比較底層的寫法
public
voidupload()throwsexception
2.
上傳檔案，封裝好的寫法
public
voidupload2()throwsexception, ioexception
3.
public
voiddownload()throwsexception
4. 檢視檔案資訊
public void listfiles() throws filenotfoundexception, illegalargumentexception, ioexception
system.out.println("---------------------------------");
//liststatus 可以列出檔案和資料夾的資訊，但是不提供自帶的遞迴遍歷
filestatus liststatus = fs.liststatus(new path("/"));
for(filestatus status: liststatus)
}5. 建立資料夾
public void mkdir() throws illegalargumentexception, exception
6. 刪除檔案或資料夾
public void rm() throws illegalargumentexception, ioexception
hadoop之HDFS的擴充
最近在vm中進行擴容之後考慮，openstack的容量新增，隨之想起hdfs的容量擴充的問題，從網上查詢資料之後，現總結如下 首先在伺服器上大都使用的linux的系統，實驗上大都採用的是centos開源的專案。在linux中新增硬碟時，需要考慮的是容量，但是隨著硬體資源的擴充套件現在磁碟的容量可鞥會...
研磨Hadoop之HDFS初探
hdfs是乙個分布式檔案系統，通過目錄樹來定位檔案。hdfs的設計適合一次寫入，多次讀取的場景，且不支援檔案的修改。1 優點 1 高容錯性 資料自動儲存多個副本，通過增加副本提高容錯性。某乙個副本丟失，可以自動恢復 2 適合大資料處理 資料規模 可以處理gb tb 甚至pb的資料 檔案規模 處理百萬...
Hadoop程式設計實現之HDFS
hdfs原理圖 下面我們來寫乙個基於hdfs的demo，該demo主要實現的是將hdfs上的乙個檔案內容讀取出來並儲存到另乙個檔案上的功能。1.輔助類 這個類主要是用來獲取hdfs檔案系統連線的 public class hdfsutils param popenuri param puser re...