hadoop輸入格式 InputFormat

inputformat介面(package org.apache.hadoop.mapreduce包中)裡包括兩個方法：getsplits()和createrecordreader()，這兩個方法分別用來定義輸入分片和讀取分片的方法。

1
public
abstract
class inputformat

getsplits()負責將檔案切分成多個分片(inputsplit)，但inputsplit並沒有實際切分檔案，而只是說明了如何切分資料，也就是說，inputsplit只是邏輯上的切分。createrecordreader()則建立了recordreader，用來從inputsplit讀取記錄。

再看inputsplit類，它包括了getlength()和getlocation()兩個方法。getlength()方法用來獲取inputsplit的大小，getlocation()則用來獲取inputsplit的位置。

public

abstract

class

inputsplit

每個inputsplit對應乙個map任務。作為map的輸入，在邏輯上提供了這個map任務所要處理的key-value對。

inputsplit只是定義了如何切分檔案，但並沒有定義如何訪問它，這個工作由recordreader來完成。recordreader的例項是由inputformat定義的。例如，在inputformat的預設子類textinputformat中，提供了linerecordreader。

1
package
org.apache.hadoop.mapreduce.lib.input;23
public
class textinputformat extends fileinputformat

linerecordreader會把檔案的每一行作為乙個單獨的記錄，並以行偏移為鍵值。

這也就解釋了wordcount例子中，行偏移為key值，每一行的內容作為value的原因。

本文基於hadoop1.2.1

如有錯誤，還請指正