adventage:
speed,
tasks can start up very quickly
in memory
worker:
yarn 中是沒有這個概念的 因為 executor runs in container(memory of container > executor memory)
客戶端提交作業（包含咋driver裡面），先去rm->am->am申請資源->啟動container執行executor
spark 僅僅只是乙個客戶端而已
基於yarn的resource manager的client模式:driver執行在client process。這樣am的職責就只是申請資源
spark-submit --master yarn基於yarn的resource manager的cluster模式：driver在am中，當driver在再am中初始化完成後client可以go away。am不僅要申請資源，還需要進行task schedule(本來由driver做，但跑在am中，所以一塊了)或者 spark-submit --master yarn --deploy-mode client
–master yarn 不能用spark-shell起
options:
–driver-memory men 預設1024g
–executor-memory men 預設1g
cluster deploy mode only:
–driver-cores num 預設1
yarn only
–executor-cores num 預設1
–num–executors num 預設2
spark.yarn.am.memory
預設值：512m
spark.driver.memory
預設值：512m
spark.yarn.am.cores
預設值：1
spark.driver.cores
預設值：1
一些碎碎念
一般分兩步，第一步，一般會在middleware 中統一進行，會和登陸耦合在一起 具體是使用者首先通過使用者名稱密碼證明自己的身份，然後獲得token 一類的儲存在cookie 裡的東西，然後使用者後面訪問時把這個東西放在請求中 這裡會有乙個問題，比如使用者剛開始是某個組的成員，但是之後被踢出組，有...
python的一些碎碎念
將資料輸出檔案中 fp open d text.txt a a 表示 如果檔案不存在就建立，存在就在檔案內容後面繼續追加 print hello world file fp fp.close 轉義字元 n t r b 若不希望字串中的轉義字元起作用，就在字串之前加上r，或者r print r hel...
關於工作的一些碎碎念
技術上已經很久沒提公升了，最近實在比較忙，也學到了很多技術之外的東西。以下內容不斷更新修改 1 不與上級討論技術細節，只反饋什麼時候做，需要多久。2 不隨便提問題，問問題之前理清思路，目的性要明確。3 與部門外的同事，比較重要事項的交流一定要使用郵件，避免表達不準確，也是乙個記錄，雙方都可以隨時查閱...