cpu 預處理：
使用dataset api:
針對於資料集進行融合和裁剪，也能已經程度上加快tensorflow 的處理速度，在盡量少損失資料的情況下，減少整個資料集的大小，以提高處理速度；
使用大檔案：
fused ops：
fused batch norm:沒看懂，之前沒有使用過，所以不知道如何來進行使用；
編譯安裝：預設的tensorflow二進位製包面向大多數的硬體，以便tensorflow能為所有人所使用。如果使用cpu進行training或inference，推薦使用cpu的所有優化來編譯tensorflow。開啟當前適合於當前cpu的優化；
gpu優化：資料並行於模型並行，以及考慮gpu之間來進行共享資料；以及cpu 與 gpu 之間的模型共享；
cpu優化：intel® 已經新增了intel® math kernel library for deep neural networks (intel® mkl-dnn) 支援；
調優 Nginx效能調優
一.nginx優化配置 1.主配置檔案優化 注 部分配置詳解 worker processes 8 nginx程序數，建議按照cpu數目來指定，一般為它的倍數。worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100...
Spark效能調優 JVM調優
通過一張圖讓你明白以下四個問題 1.jvm gc機制，堆記憶體的組成 2.spark的調優為什麼會和jvm的調優會有關聯？因為scala也是基於jvm執行的語言 3.spark中oom產生的原因 4.如何在jvm這個層面上來對spark進行調優 補充 spark程式執行時 jvm堆記憶體分配比例 r...
七 Spark效能調優 Shuffle 調優
目錄 一 調節 map 端緩衝區大小 二 調節 reduce 端拉取資料緩衝區大小 三 調節 reduce 端拉取資料重試次數 四 調節 reduce 端拉取資料等待間隔 五 調節 sortshuffle 排序操作閾值 val conf new sparkconf set spark.shuffle...