1-簡單的流程
spark簡單任務排程總結:
2-通過wordcount檢視流程
總結: spark的任務排程複雜流程
第三步：dag送給dagscheduler
第四步：dagscheduler劃分stage，劃分taskset
第五步：將taskset送給taskscheduler
第六步：taskscheduler接收到taskset
第七步：taskscheduler將接收到的taskset分解成為乙個個的task，等待將task送給executor去執行
以上七部：都是driver程式負責的職責，driver程式一般都是執行在worker裡面，使用cluster模式
linux 核心調優
設定linux核心引數 配置 linux 核心引數 2種方法 修改後不用重啟動更新 sbin sysctl p 第一種 開啟 etc sysctl.conf 複製如下內容 kernel.shmall 2097152 kernel.shmmax 2147483648 kernel.shmmni 409...
Linux核心調優
專案出現socket連線超時和管道斷開連線 檢查nginx,nginx報錯 recv failed 104 connection reset by peer while reading response header from upstrea錯誤日誌表示 1 伺服器的併發連線數超過了其承載量，伺服器...
Linux 核心調優
以nginx 10k併發連線為優化目標，附簡單介紹，不一一解釋。一 tcp容量規劃 net.ipv4.tcp mem 262144 524288 786432 net.core.wmem max 16777216 net.core.wmem default 131072 net.core.rmem ...