shuffle描述著資料從map task輸出到reduce task輸入的這段過程。
一般將在map端的shuffle稱之為shuffle write，在reduce端的shuffle稱之為shuffle read.
shuffle的效能高低直接影響了整個程式的效能和吞吐量。
問題：聚合之前，每乙個key對應的value不一定都是在乙個partition中，也不太可能在同乙個節點上，因為rdd是分布式的彈性的資料集，rdd的partition極有可能分布在各個節點上。
如何聚合？
–shuffle write：上乙個stage的每個map task就必須保證將自己處理的當前分割槽的資料相同的key寫入乙個分割槽檔案中，可能會寫入多個不同的分割槽檔案中。
–shuffle read：reduce task就會從上乙個stage的所有task所在的機器上尋找屬於己的那些分割槽檔案，這樣就可以保證每乙個key所對應的value都會匯聚到同乙個節點上去處理和聚合。
spark中有兩種shuffle型別，hashshuffle和sortshuffle，
spark1.2之前是hashshuffle，
spark1.2引入sortshuffle 。
spark2.0就只有sortshuffle
② .產生的磁碟小檔案為：2*m（map task的個數）
mapoutputtracker是spark架構中的乙個模組，是乙個主從架構。管理磁碟小檔案的位址。
blockmanager塊管理者，是spark架構中的乙個模組，也是乙個主從架構。
Entity Framework1 0系列文章
需要說明的是,以下文章是基於entity framework1.0的,環境是vs2008 sp1,部分內容與最新的entity framework4.0及以上版本是有區別的,畢竟entity framework4.x有巨大的改進.entity framework 學習初級篇1 ef基本概況 enti...
10 檔案許可權
目錄許可權 r read contents in directory w modify contents of directory x access directory r x ls w x touch rm mv chmod x cd mkdir m 700 abc mkdir abc umask...
10 檔案上傳
引入 兩個包 上傳頁面表單如下 formaction control department list fileupload.action method post enctype multipart form data 檔案 inputtype file name image br inputtype...