worker管理資源：記憶體，cpu
只有standby模式的master變成active模式時才能想集群提交任務，master切換過程不會影響程式的執行
原因:程式在具體執行之前已經向集群申請過資源，這些資源已經提交給driver了，也就是說已經分配好資源了，這是粗粒度分配，一次性分配資源後不需要再關心資源分配，在執行時讓executor和driver自動互動，弊端是如果資源分配太多，任務執行完不會很快釋放，造成資源浪費
細粒度：任務提交太慢
安裝好zookeeper檢視任務運**況
spark高可用的配置
搭高可用的集群有兩種方式，一種是基於檔案系統，一種是基於zookeeper。但是zookeeper有選舉的功能，也就是當一台master掛掉之後，備用的master能夠被zookeeper啟動起來，並基於zookeeper恢復資料。託管主節點的資訊，hdfs namenode yarn resour...
第12課 有名管道通訊
1.有名管道 又稱為fifo檔案。2.man命令 1.系統命令，2.系統呼叫，3庫函式 3.函式學習 5.2建立有名管道 5.2.1函式名 mkfifo 5.2.2 函式原形 int mkfifo const char pathname,mode t mode 5.2.3 函式功能 建立乙個fifo...
C 系列自學課程 第 12 課
1 include 2 include 34 using namespace std 56 struct cdaccount7 1213 struct date14 1920 struct person21 2728 29void get data cdaccount account 30doubl...