Spark 中 map 與 flatMap 的區別

通過乙個實驗來看spark 中 map 與 flatmap 的區別。

步驟一：將測試資料放到hdfs上面

hadoopdfs -put data1/test1.txt /tmp/test1.txt

該測試資料有兩行文字：

步驟二：在spark中建立乙個rdd來讀取hdfs檔案/tmp/test1.txt

步驟三：檢視map函式的返回值

得到map函式返回的rdd:

檢視map函式的返回值——檔案中的每一行資料返回了乙個陣列物件

步驟四：檢視flatmap函式的返回值

得到flatmap函式返回的rdd:

檢視flatmap函式的返回值——檔案中的所有行資料僅返回了乙個陣列物件

總結：- spark 中 map函式會對每一條輸入進行指定的操作，然後為每一條輸入返回乙個物件；

- 而flatmap函式則是兩個操作的集合——正是「先對映後扁平化」：

操作1：同map函式一樣：對每一條輸入進行指定的操作，然後為每一條輸入返回乙個物件

操作2：最後將所有物件合併為乙個物件

Spark 中 map 與 flatMap 的區別

通過乙個實驗來看spark 中 map 與 flatmap 的區別。步驟一 將測試資料放到hdfs上面 hadoopdfs put data1 test1.txt tmp test1.txt 該測試資料有兩行文字 步驟二 在spark中建立乙個rdd來讀取hdfs檔案 tmp test1.txt 步...

Spark 中map與 flatMap的區別

進入spark安裝目錄，執行.spark shell 步驟一 將測試資料放到hdfs上面 hadoop dfs put data1 test1.txt tmp test1.txt 該測試資料有兩行文字 該測試資料有兩行文字 步驟二 在spark中建立乙個rdd來讀取hdfs檔案 tmp test1....

Spark 中 map 與 flatMap 的區別

通過乙個實驗來看spark 中 map 與 flatmap 的區別。步驟一 將測試資料放到hdfs上面 hadoopdfs put data1 test1.txt tmp test1.txt 該測試資料有兩行文字 步驟二 在spark中建立乙個rdd來讀取hdfs檔案 tmp test1.txt 步...