了解log4j的使用。
*.log日誌檔案和*.out日誌檔案
進入我們的hadoop_log目錄,我們可以看到如下檔案:
這裡的stderr和stdout記錄了我們的task(map or reduce)的在這台機器上執行的過程中所產生的標準錯誤輸出和標準輸出。這些資訊集群中的每乙個機器上都會出現,如果資料量足夠多的話:)
syslog則記錄了在我們的task中,通過log4j介面記錄的日誌資訊。
history目錄下的日誌檔案
進入jobtracker機器的history目錄,我們可以看到:
horde20_1250841267760_job_200908211554_0001_conf.xml記錄了我們執行這個job時候的配置檔案資訊。
horde20_1250841267760_job_200908211554_0001_admin_wordcount記錄了我們執行這個job的情況。
他們是由jobhistory產生的,並且只在jobtracker機器上產生。
eventcounter
如果希望完全了解hadoop的執行狀況資訊,還需要參考counter和metric。
深入剖析Hadoop程式日誌
了解log4j的使用。log日誌檔案和 out日誌檔案 進入我們的hadoop log目錄,我們可以看到如下檔案 out檔案則是啟動某個程式的標準輸出重定向。比如 hadoop admin datanode horde20.log是在horde20這台機器上啟動datanode程序的日誌輸出,由lo...
PGA深入剖析
pga pga系統全域性區 program global area 程序全域性區 process global area pga是乙個記憶體區域,該區域包含了一些與某個特定伺服器程序相關的資料和控制資訊,每個程序都有自己的私有pga區,所以這塊區域只能被其所屬程序進入,而不能被其他程序訪問,所以在p...
epoll LT ET 深入剖析
epoll lt et 深入剖析 epoll事件有兩種模型 level triggered lt 水平觸發 socket接收緩衝區不為空 有資料可讀 讀事件一直觸發 socket傳送緩衝區不滿 可以繼續寫入資料 寫事件一直觸發 符合思維習慣,epoll wait返回的事件就是socket的狀態 ed...