下面歸納概述了用於設定mapreduce作業輸出的壓縮格式的配置屬性。如果mapreduce驅動使用了tool介面,則可以通過命令行將這些屬性傳遞給程式,這比通過程式**來修改壓縮屬性更加簡便。
mapreduce的壓縮屬性
屬性名稱
型別預設值
描述mapred.out.compress
boolean
false
壓縮輸出
mapred.out.compression.codec
類名稱org.apache.hadoop.io.compress.defaultcodec
map輸出所用的壓縮codec
mapred.out.compression.type
string
record
sequencefile的輸出可以試用的壓縮型別:none、record或者block
讀書筆記 Hadoop權威指南 簡介
資料來自美國國家氣候資料中心 national climatic data center,簡稱ncdc 這些資料按行並以ascii格式儲存,其中一行是一條記錄。下面顯示了一行取樣資料,為了給讀者了解字段,拆分解釋。從1901年到2001年,每一年都有乙個目錄,每個目錄中包含各個氣象站該年氣象資料的打...
《CSS權威指南》讀書筆記
第二章 選擇器 第三章 結構和層疊 第四章 值和單位 第五章 字型 第六章 文字屬性 第七章 基本視覺格式化 第八章 內邊距邊框和外邊距 第九章 顏色和背景 第十章 浮動和定位 第十一章 表布局 第十二章 列表與生成內容 第十三章 使用者介面樣式 第十四章 非螢幕 import url sheet....
Http權威指南讀書筆記
1.1 http使用的是可靠的資料傳輸協議。1.3 型別 mime型別 multipurpose internet mail extension多用途網際網路郵件擴充套件 是為了解決在不同的電子郵件系統之間搬移報文時存在的問題。mime在電子郵件系統中工作得非常好,因此http也採納了它,用它來描述...