spark的excutor的container記憶體有兩大部分組成： 堆外記憶體和excutor記憶體
主要用於jvm自身的開銷。 預設： max(executormemory * 0.10, 384m)
excutor記憶體(spark.executor.memory)
driver的堆外記憶體設定
從yarn的管理頁面， 分配了5個container， 25個cpu core， 18432m記憶體
excutor的core數 = 4 * 6個core = 24個
am的core數預設為1
占用的cpu core數： excutor的core數 + am的core數 = 4 * 5 + 1 = 25個。
yarn物理記憶體虛擬記憶體問題
問題描述 is running beyond physical memory limits.current usage 5.8 gb of 5 gb physical memory used 5.7 gb of 10.5 gb virtual memory used.killing containe...
YARN上的計算框架大類概念
目前基於hadoop2.0執行在yarn上的計算框架大類 1.離線計算框架 mapreduce 2.dag計算框架 tez 3.流式計算框架 storm 4.記憶體計算框架 spark 將計算過程分成兩部分 map和reduce 輸入的資料集是靜態的，不能動態變化。map階段並行處理輸入資料 map...
mysql 記憶體計算 MYSQL使用記憶體計算
mysql記憶體占用計算 global buffer all thread buffer global buffer innodb buffer pool size 快取表資料和索引資料，加速查詢，並且使查詢結果集儲存在內以供重用，一般設定到主機記憶體的70 以下 innodb additional...