使用url的方式讀取乙個檔案內容，需要設定乙個handler工廠，這個工廠只能設定一次
static
public
void test1() throws ioexception
br.close();
} 使用hadoop的filesystem讀取檔案
public
void test2() throws ioexception
將乙個本地檔案拷貝到hadoop檔案系統中
public
void test3() throws ioexception
});
ioutils.copybytes(is, os, 4096, true);
system.out.println("ok~");
} 列出檔案屬性
public
void test4() throws ioexception
通過路徑過濾器查詢檔案
public
void test5() throws ioexception
system.out.println("filter execute ok");
} //路徑正則過濾器類
public
class regexpathfilter implements pathfilter
@override
public
boolean accept(path path)
} 刪除，支援遞迴刪除
public
void delete() throws ioexception
重新命名
public
void test5_rename() throws ioexception
檢查檔案是否存在
public
void exist() throws ioexception
查詢某個檔案在hdfs中的位置
public
void test5_location() throws ioexception
} 獲取hdfs集群上所有節點的名稱
public
void test5_allnode() throws ioexception
建立本地和遠端的checksum
public
void localcreatechecksum() throws ioexception
public
void distributecreatechecksum() throws ioexception
壓縮和解壓縮，壓縮池
public
void compress() throws ioexception
public
void decompress() throws ioexception
public
void comprsspool() throws ioexception
hadoop常用操作命令
1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...
hadoop常用操作命令
1.列出根目錄下所有的目錄或檔案 hadoop dfs ls 2.列出 user目錄下的所有目錄和檔案 hadoop dfs ls user 3.列出 user目錄及其子目錄下的所有檔案 謹慎使用 hadoop dfs ls r user 4.建立 soft目錄 hadoop dfs mkdir s...
Hadoop的shell常用操作
1.啟動 關閉hadoop集群 2.檢視hdfs上的檔案和目錄 hadoop fs ls r 3.在hdfs上建立資料夾 hadoop fs mkdir p test name4.上傳檔案 hadoop fs put source 本地檔案路徑 dest hdfs路徑 hadoop fs get s...