– 乙個mapreduce程式就是乙個job，而乙個job裡面可以有乙個或多個task，task又可以區分為map task和reduce task
– mapreduce中的每個task分別在自己的程序中執行，當該task執行完時，程序也就結束
hadoop中的mapreduce採用了多程序的的執行方式，因為獨享程序空間，所以方便控制資源，但是消耗更多的啟動時間，導致mapreduce時效性差，不適合執行那些低延時作業。
– job：和mr中job不一樣。mr中job主要是map或者reduce job。而spark的job其實很好區別，乙個action運算元就算乙個 job，比方說count，first等
– stage：是spark中獨有的。一般而言乙個job會切換成一定數量 的stage。各個stage之間按照順序執行
– task：任務最小的工作單元
spark中的同個節點中的所有任務執行在同乙個程序中（executor），任務啟動速度快，由於共享記憶體空間，減少了和磁碟間的io操作，適合低延遲、記憶體密集型任務。同樣的由於同個節點中的所有任務執行在同乙個程序中，可能會出現資源競爭，且執行緒之間相互影響導致spark任務穩定性步入hadoop任務。
在Hadoop上發布spark作業
這次的例子是計算航空公司的平均延遲時間，並畫圖 直接上 import csv import matplotlib.pyplot as plt import matplotlib as mpl mpl.use tkagg use tkagg to show figures from stringio ...
Hadoop之Spark基本簡介
任務背景 完成最終的任務需要分為若干個有依賴關係的子任務連線成乙個dag 有向無環 圖。hadoop 由於完成這個圖任務有多個map reduce子任務，每個子任務都要把輸出的結果儲存起來 預設是三份 以供下乙個任務的讀取，而且每個子任務map reduce的中間結果也會把資料儲存在本地。ps 在m...
Hadoop 和 Spark 的異同
談到大資料，相信大家對hadoop和apache spark這兩個名字並不陌生。但我們往往對它們的理解只是提留在字面上，並沒有對它們進行深入的思考，下面不妨跟我一塊看下它們究竟有什麼異同。首先，hadoop和apache spark兩者都是大資料框架，但是各自存在的目的不盡相同。hadoop實質上更...