提交命令-方式1:
./spark-submit
--master spark://node1:7077
--class org.apache.spark.examples.sparkpi
../lib/spark-examples-1.6.0-hadoop2.6.0.jar
1000
提交命令-方式2:
執行流程
client模式提交任務後,會在客戶端啟動driver程序。
資源申請成功,driver端將task傳送到worker端執行。
worker將task執行結果返回到driver端。
standalone-client提交模式總結:
提交命令:
./spark-submit
--master spark://node1:7077
--deploy-mode cluster
--class org.apache.spark.examples.sparkpi
../lib/spark-examples-1.6.0-hadoop2.6.0.jar
100
注意:standalone-cluster提交方式,應用程式使用的所有jar包和檔案,必須保證所有的
worker
節點都要有,因為此種方式,spark
不會自動上傳包。
解決方式:
將所有的依賴包和檔案打到同乙個包中,然後放在hdfs上。
將所有的依賴包和檔案各放乙份在worker節點上。
standalone-cluster執行流程
cluster模式提交應用程式後,會向master請求啟動driver
master接受請求,隨機在集群一台節點啟動driver程序
driver啟動後為當前的應用程式申請資源
driver端傳送task到worker節點上執行
worker將執**況和執行結果返回給driver端
standalone-cluster提交模式總結:
standalone兩種提交任務的方式,特點如下:
1. driver負責應用程式資源的申請
2. 任務的分發。
3. 結果的**。
4. 監控task執**況
EPOLL兩種模式
select epoll 的特點 select 的特點 select 選擇控制代碼的時候,是遍歷所有控制代碼,也就是說控制代碼有事件響應時,select 需要遍歷所有控制代碼才能獲取到哪些控制代碼有事件通知,因此效率是非常低。但是如果連線很少的情況下,select 和epoll的lt 觸發模式相比,...
p w m 兩 種 模 式 模式 1 ,2
那是你沒看到關鍵點。看下面這個截圖的內容,紅圈裡面的,不明白就在白紙上抄一遍,應該可以看出區別了吧?pwm1,pwm2就是有效電平無效電平產生區間的區別,其他沒有區別。pwm 中心對齊模式 當 timx cr1 暫存器中的 cms 位不為 00 其餘所有配置對 ocxref ocx 訊號具有相 同的...
FTP兩種連線模式
ftp是有兩種傳輸的模式的,主動模式和被動模式,之前一直沒怎麼去搞明白之,現在找了下資料,重新整理了下 乙個完整的ftp檔案傳輸需要建立兩種型別的連線,一種為檔案傳輸下命令,稱為控制連線,另一種實現真正的檔案傳輸,稱為資料連線。1.控制連線 2.資料連線 ftp控制連線建立之後,即可開始傳輸檔案,傳...