第9章 hdfs客戶端
1. dfsclient的構造和關閉
dfsclient()構造方法的功能：
1） 讀取配置項資訊並初始化成員變數
2） 建立到namenode的ipc連線（createrpcnamenode（）和createnamenode（））
dfsclient.close()關閉客戶端的功能：
1） leasechecker.close()//關閉租約管理器
2） clientrunning=false;//中斷dfsclient物件開啟的輸入輸出流
3） rpc.stopproxy(rpcnamenode);
2.檔案和目錄、系統管理相關任務
dfsclient.checkopen();//檢查客戶端是否關閉
然後通過rpc物件呼叫相應的遠端namenode方法完成操作
3.輸入流
dfsclient.open();//開啟檔案構造並返回乙個dfsinputstream物件
$預取讀的大小是10個資料塊大小
$輸入緩衝區大小
dfsinputstream.read();//讀檔案
dfsinputstream.close();//關閉流
4.distributedfilesystem的實現
distributedfilesystem是介面卡模式的典型應用
構造distributedfilesystem時會預設載入」hdfs-default.xml」和」hdfs-site.xml」檔案
5.hdfs常用工具
dfsadmin和shell
hadoop fs –copyfromlocal 本地檔案 hdfs檔案
toolrunner.run()建立必要的configuration物件
genericoptionsparser解析fsshell引數，並設定到configuration中
hadoop fs –fs hdfs: 設定預設的檔案系統
hadoop fs –d fs.default.name=hdfs:
Hadoop 權威指南
rpm包和deb包是兩種linux系統下最常見的安裝包格式，在安裝一些軟體或服務的時候免不了要和它們打交道。rpm包主要應用在redhat系列包括 fedora等發行版的linux系統上，deb包主要應用於debian系列包括現在比較流行的ubuntu等發行版上。yum可以用於運作rpm包，例如在f...
hadoop 權威指南 HBase
hbase原理 基本概念 基本架構 應用將資料儲存在帶標籤的表中，表的單元格是行和列座標的座標交集，他們有版本號。在預設情況下版本號是單元格插入時hbase自動分配的時間戳。表的單元格內容是乙個未解釋的位元組陣列 錶行的鍵也是位元組陣列。行鍵是表的主鍵，被用來對錶行進行排序。錶行的列分組，形成列族 ...
Hadoop權威指南摘抄 初識Hadoop
初識hadoop 古代，人們用牛來拉重物，當一頭牛拉不動一根圓木時，他們不曾想過培育更大更壯的牛。同樣，我們也不需要嘗試開發超級計算機，而應該結合使用更多計算機。格蕾斯.霍珀 資料的儲存與分析 大資料時代，磁碟儲存容量快速增加的同時，其訪問速度 磁碟資料讀取速度缺未能與時俱進。1990年，乙個137...