標黃色的代表比較重要
術語描述
由driver program和集群上的executors組成
使用者建立的spark應用程式。所依賴的jar包在執行時傳入
driver program
就是我們寫的main方法以及內部包含乙個sparkcontext物件
cluster manager
乙個外部的服務，專門向集群申請資源
deploy mode
區分driver程序是跑在**？集群內還是集群外
worker node
相當於yarn上的nodemanager
executor
相當於yarn上的container，每個應用程式都由他們自己的executors
task
工作單元，執行在executor中，乙個partition對應乙個task
job乙個action就會有乙個job
stage
有shuffle就會產生stage
Elasticsearch 核心術語概念
elasticsearch 相當於乙個關係型資料庫 索引 index 型別 type 文件 document 字段 fields 跟關係型資料庫對比 elasticsearch 相當於乙個資料庫 索引indx 相當於 資料庫 中的 一張一張的表 型別type 相當於資料庫中 邏輯表示式 文件docu...
Spark面試術語總結
今天你比昨天更博學了麼，今天你比昨天更進步了麼，雨愛把時間荒廢在碌碌無為上，還不如踏踏實實學點東西，可能你進步很慢，只要你不放棄，一定可以的 送給正在努力的你 今天的學習 glossary the following table summarizes terms you ll see used to...
spark核心架構
driver部分的 sparkconf sparkcontext driver 部分 val conf new sparkconf val sc new sparkcontext conf end executor部分 分布到集群中的 比如 textfile flatman map worker 管...