hadoop命令手冊
所有的hadoop命令均由bin/hadoop指令碼引發。不指定引數執行hadoop指令碼會列印所有命令的描述。
用法：hadoop[--configconfdir][command][generic_options][command_options]
hadoop有乙個選項解析框架用於解析一般的選項和執行類。
命令選項描述
--configconfdir覆蓋預設配置目錄。預設是$/conf。
generic_options多個命令都支援的通用選項。
command
命令選項s各種各樣的命令和它們的選項會在下面提到。這些命令被分為使用者命令管理命令兩組。
hadoop命令常規選項
下面的選項被dfsadmin,fs,fsck和job支援。應用程式要實現tool來支援常規選項。
generic_option描述
-conf指定應用程式的配置檔案。
-d為指定property指定值value。
-fs指定namenode。
-jt指定jobtracker。只適用於job。
-files《逗號分隔的檔案列表》指定要拷貝到mapreduce集群的檔案的逗號分隔的列表。只適用於job。
-libjars《逗號分隔的jar列表》指定要包含到classpath中的jar檔案的逗號分隔的列表。只適用於job。
-archives《逗號分隔的archive列表》指定要被解壓到計算節點上的檔案檔案的逗號分割的列表。只適用於job。
使用者命令
hadoop集群使用者的常用命令。
archive
建立乙個hadoop檔案檔案。參考hadooparchives.
用法：hadooparchive-archivenamename*
命令選項描述
-archivenamename要建立的檔案的名字。
src檔案系統的路徑名，和通常含正則表達的一樣。
dest儲存檔案檔案的目標目錄。
命令選項描述
srcurl源url
desturl目標url
fs命令選項描述
檢查的起始目錄。
-move移動受損檔案到/lost+found
-delete刪除受損檔案。
-openforwrite列印出寫開啟的檔案。
-files列印出正被檢查的檔案。
-blocks列印出塊資訊報告。
-locations列印出每個塊的位置資訊。
-racks列印出data-node的網路拓撲結構。
jarhadoop命令主要用來執行jar檔案。使用者可以把他們的mapreduce****到jar檔案中，使用這個命令執行。
用法：hadoopjar[mainclass]args...
streaming作業是通過這個命令執行的。參考streamingexamples中的例子。
wordcount例子也是通過jar命令執行的。參考wordcountexample。
job用於和mapreduce作業互動和命令。
用法：hadoopjob[generic_options][-submit]|[-status]|[-counter]|[-kill]|[-events<#-of-events>]|[-history[all]]|[-list[all]]|[-kill-task]|[-fail-task]
命令選項描述
-submit提交作業
-status列印map和reduce完成百分比和所有計數器。
-counter列印計數器的值。
-kill殺死指定作業。
-events<#-of-events>列印給定範圍內jobtracker接收到的事件細節。
-history[all]-history列印作業的細節、失敗及被殺死原因的細節。更多的關於乙個作業的細節比如成功的任務，做過的任務嘗試等資訊可以通過指定[all]選項檢視。
-list[all]-listall顯示所有作業。-list只顯示將要完成的作業。
-kill-task殺死任務。被殺死的任務不會不利於失敗嘗試。
-fail-task使任務失敗。被失敗的任務會對失敗嘗試不利。本節有關hadoop命令簡單介紹到這裡。
常見hadoop shell命令用法詳解
hadoop mapreduce的簡單應用cascading詳解
hadoop集群與hadoop效能優化
hadoophbase實現配置簡單的單機環境
如何實現cassandra與hadoop mapreduce的整合？
Linux man手冊使用指南
使用linux下man已經很久了。但只是大概知道其內容的存放目錄，以及man number 中mumber的含義。今天需要新增c man page。順便將man的內容作乙個較詳細的了解。0.man後面數字的含義 之前sam在查詢c庫函式時，會使用 man 3 func 在查詢系統呼叫時，則使用 ma...
Linux Sed命令使用指南
一次從輸入讀取一行資料，根據所提供的編輯器命令匹配資料，按照命令修改流中的資料，將新的資料輸出到stdout。sed命令的格式 sed options script file 讓替換命令能夠替換一行中不同地方出現的文字，格式 s pattern replacement flags。有4種可用的替換標...
find命令使用指南
本文參考 一直知道find命令的查詢功能很強大，但從來沒有進行系統性的學習，今天有時間正好學習一下！find命令的基本組成 find paths expression actions name 要查詢的檔名 示例 find home sifang bin name startcsgc在 home s...