今天一開始建立eclipse與虛擬機器訪問時,出現諸多問題,解決後,複習了基本的hadoop檔案操作
/**
* 測試hdfs,開始讀取配置檔案@before
* 關閉,@after
* */
public class testhdfs
@after
public void close() throws exception
/*** 建立目錄
* * */
@test
public void mkdir() throws exception
fs.mkdirs(path);
} /**
* 建立檔案
* * */
@test
public void create() throws exception
/*** 上傳本地檔案到虛擬機器中
* */
@test
public void puttest() throws exception
/*** */
@test
public void gettest()throws exception
public static void main(string args) throws ioexception
/*** 遍歷某個資料夾下所有的檔案
* */
@test
public void listfile() throws exception
} /**
* 獲取到分割塊所在的主機名稱
* */
@test
public void getfileblocklocation() throws exception
} }/**
* 讀取檔案
* 第一步,fsdatainputstream 讀取檔案,讀取到緩衝區
* 第二步,使用outputstream輸出流,把檔案重新整理到檔案裡
* */
@test
public void getfilecontent() throws exception
}/**
* 刪除檔案
* */
@test
public void deletefile() throws exception
}
明天繼續更新hadoop的序列化和檔案結構相關操作 hadoop基本用法回顧
研一時,跟著老師寫完了乙個大資料專案,現在不怎麼寫了,發現很多東西都忘了,還要從網上找資料,從今天起,開始多寫部落格,每天更新一篇作為記錄 今天覆習hadoop的基本用法 配置ubuntu啟動環境說明,本人的hadoop ubuntu虛擬機器已經配置好了 hdfs site.xml,core sit...
hadoop基本用法回顧(MapFile)
mapfile的實現 mapfile是排序後的sequencefile mapfile訪問檔案時,會首先把index載入到記憶體中,然後在根據index快速定位到檔案所在位置,比起sequencefile要快得多。mapfile寫過程 建立configure物件 獲取到filesystem物件 設定...
委託的基本用法(回顧)
using system using system.collections.generic using system.linq using system.text namespace aaa food4 delegate string food food4 delegate string food ...