mr執行過程中的一些引數說明:
jar包:/home/grid/hadoop-0.20.2/hadoop-0.20.2-examples.jar
安裝hadoop時從源**拷貝過來的,我們可以直接使用
[grid@h1 hadoop-0.20.2]$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out
把這個jar包裡wordcount功能提交給map_reduce當做乙個作業執行,測試map_reduce系統是否可以正常工作,in 輸入資料目錄(資料來源) out 輸出資料目錄(即輸出到**)
12/09/17 20:39:06 info input.fileinputformat: total input paths to process : 2
12/09/17 20:39:07 info mapred.jobclient: running job: job_201209172027_0002 運
行作業號「2023年9月17日1856不是時間」
12/09/17 20:39:08 info mapred.jobclient: map 0% reduce 0%
12/09/17 20:40:34 info mapred.jobclient: map 50% reduce 0%
12/09/17 20:40:49 info mapred.jobclient: map 100% reduce 0%
map reduce進度
12/09/17 20:41:02 info mapred.jobclient: map 100% reduce 100%
12/09/17 20:41:04 info mapred.jobclient: job complete: job_201209172027_0002
作業完成
12/09/17 20:41:04 info mapred.jobclient: counters: 17
12/09/17 20:41:04 info mapred.jobclient: job counters
作業計數器
12/09/17 20:41:04 info mapred.jobclient: launched reduce tasks=1
啟動reduce任務1個
12/09/17 20:41:04 info mapred.jobclient: launched map tasks=3
啟動map任務3個
12/09/17 20:41:04 info mapred.jobclient: data-local map tasks=3
12/09/17 20:41:04 info mapred.jobclient: filesystemcounters
檔案系統計數器
12/09/17 20:41:04 info mapred.jobclient: file_bytes_read=59
12/09/17 20:41:04 info mapred.jobclient: hdfs_bytes_read=29
12/09/17 20:41:04 info mapred.jobclient: file_bytes_written=188
12/09/17 20:41:04 info mapred.jobclient: hdfs_bytes_written=29
12/09/17 20:41:04 info mapred.jobclient: map-reduce framework
map_reduce框架
12/09/17 20:41:04 info mapred.jobclient: reduce input groups=3
reduce輸入組3
12/09/17 20:41:04 info mapred.jobclient: combine output records=4
合併輸出記錄4
12/09/17 20:41:04 info mapred.jobclient: map input records=2
map輸入記錄2
12/09/17 20:41:04 info mapred.jobclient: reduce shuffle bytes=65
reduce shuffle=預處理 減少計算量 算的更快
12/09/17 20:41:04 info mapred.jobclient: reduce output records=3
reduce輸出記錄3
12/09/17 20:41:04 info mapred.jobclient: spilled records=8
溢位記錄8
12/09/17 20:41:04 info mapred.jobclient: map output bytes=45
map輸出位元組45
12/09/17 20:41:04 info mapred.jobclient: combine input records=4
合併輸入記錄4
12/09/17 20:41:04 info mapred.jobclient: map output records=4
map輸出記錄4
12/09/17 20:41:04 info mapred.jobclient: reduce input records=4
reduce輸入記錄4
top執行過程中的一些互動命令
在top命令執行過程中可以使用的一些互動命令 從使用角度來看,熟練的掌握這些命令比掌握選項還重要一些。這些命令都是單字母的,top命令列引數 b 批處理模式 batch mode 可輸出到管道 檔案。預設情況下 b會一直輸出,可以用 nn指定輸出次數。n n 限制輸出次數。d n 重新整理時間間隔。...
儲存過程中的一些片斷
create or replace procedure 儲存過程名 astype ref cursor is ref cursor 定義游標 mycursor ref cursor 定義需要的變數 變數1 number begin 變數ny to char sysdate,yyyymm strsql...
Linux移植過程中的一些錯誤
問題點 1 yaffs2根檔案系統無法掛載 failed to execute linuxrc.attempting defaults.kernel panic not syncing no init found.try passing init option to kernel.原因 mkyaff...