我們在使用spark寫入hdfs檔案時，會經常由於partition的數目問題，導致最後儲存在hdfs中時產生了很多小檔案，之前也用過repartition的方法，但是會出現雖然會大量減少生成檔案的數目，但是會使得最後儲存檔案這一步的效率很低，主要也是當repartition數目很小時，task任務數目也減少了，每個task執行起來的時間變長了。
我常識在spark寫入hdfs檔案後，再合併這些小檔案，採取讀取hdfs檔案後，合併成乙個大檔案的方法，效果還可以，在此與大家分享下：
import org.apache.hadoop.conf.configuration
import org.apache.hadoop.fs.
import org.apache.hadoop.io.ioutils
def mergepath (srcstr : string):unit=
outputstream.close()
filelist.foreach(file => hdfs.delete(file.getpath,false))
hdfs.rename(tmpfile,new path(src +"/" + outfile))
hdfs.close()
println("*********************output path: " + srcpath + " success ********************")
}
HDFS 四 檔案寫入解析
1 客戶端向namenode請求上傳檔案，namenode檢查目標檔案是否已存在，父目錄是否存在。2 namenode返回是否可以上傳。3 客戶端請求第乙個 block上傳到哪幾個datanode伺服器上。4 namenode返回3個datanode節點，分別為dn1 dn2 dn3。5 客戶端請求...
HDFS檔案寫入過程
目標 掌握hdfs寫入資料的詳細過程 詳細步驟解析 list itemclient發起檔案上傳請求，通過rpc與namenode建立通訊，namenode檢查目標檔案是否已存在，父目錄是否存在，返回是否可以上傳 client請求第乙個block該傳輸到哪些datanode伺服器上 client請求3...
HDFS檔案讀取和寫入
讀取檔案 一 讀取方式一 寫入哪個datanode是不確定的，主要尋找讀取速度較快的datanode 怎麼找到這種datanode，從以下幾個方面 是否有本機位置，本機架位置，本機房位置 依次重試讀取檔案，直到讀取檔案成功 二 讀取方式二 backupread 每次讀取時，client會並行試著讀取...