overlayfs是乙個新一代的聯合檔案系統，類似於aufs，但速度更快，實現更簡單。docker為overlayfs提供了兩個儲存驅動程式:舊版的overlay，新版的overlay2(更穩定)。
容器中會產生大量日誌檔案，很容器佔滿磁碟空間。通過設定日誌檔案大小，可以有效控制日誌檔案對磁碟的佔用量
對於ubuntu\debian系統，執行docker info命令時能看到警告warning: no swap limit support或者warning: no memory limit support。因為ubuntu\debian系統預設關閉了swap account或者功能，這樣會導致設定容器記憶體或者swap資源限制不生效，解決方法。
docker第一次執行時會自動建立名為docker0的網路介面，預設介面位址為172.17.0.1/16。在一些企業中，可能已經使用了這個網段的位址，或者規劃以後會使用這個網段的位址。所以，建議在安裝好docker服務後，第一時間修改docker0介面位址，避免後期出現網段衝突。
停止docker執行
systemctl stop docker.service
刪除已有的docker0介面
sudo ip link del docker0
修改docker配置檔案
在/etc/docker/daemon.json中新增"bip": "169.254.123.1/24"(網端可自定義)
touch /etc/docker/daemon.json
cat > /etc/docker/daemon.json <, "max-concurrent-downloads": 10,
"max-concurrent-uploads": 10,
"bip": "169.254.123.1/24",
"registry-mirrors": [""],
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]}eof
systemctl daemon-reload && systemctl restart docker
生產環境調優YARN Container引數
如何優化container引數？假設128g,16個物理core的伺服器 1 裝完centos，消耗記憶體1g 2 系統預留15 20 記憶體 大概26g,其中包含centos系統占用的1g記憶體 用來防止全部使用導致系統夯住和oom機制，或者給未來部署元件預留點空間。3 假設該伺服器上只有data...
spark調優 shuffle調優
基於spark1.6 引數可以通過 new sparkcontext set 來設定，也可以通過命令的引數設定 conf spark.shuffle.file.buffer 預設值 32k 引數說明 該引數用於設定shuffle write task的bufferedoutputstream的buf...
Spark Spark調優 資源調優
spark在乙個executor的記憶體分為三塊，1.一塊是execution記憶體 2.一塊是storge 記憶體 3.一塊是其他記憶體 執行記憶體是執行記憶體，加入，聚合都是在這部分記憶體中執行.shuffle的資料也會先快取在這個記憶體中，滿了再寫入磁碟，能減少io，其實地圖過程也是在這個記憶...