2018/04/12
pyspark --master spark://node1:7077 --num-executors 100 --executor-memory 6g --executor-cores 5 --driver-memory 1g --conf spark.default.parallelism=1000 --conf spark.storage.memoryfraction=0.5 --conf spark.shuffle.memoryfraction=0.3
與pyspark --master spark://node1:7077
2018/04/14
1、上面兩個命令，同樣執行乙個命令count，使用的時間相同。
2、同樣執行乙個map，然後count命令，第乙個命令比第二個快了3秒。
同樣使用乙個指令碼，指令碼內容包括group等什麼的。
spark-submit --master spark://node1:7077 --executor-memory 50g success_one.py
比spark-submit --master spark://node1:7077 --executor-cores 5 --executor-memory 6g
慢了1.1分鐘，而且中間還出錯了。
看來這樣優化還是有一定的好處的。
Mysql執行速度優化
1 create table t select from t old where 1 0 2 create table t like t old 3 create table t 其中 1 最快，但是它取消原來表的有些定義。自增字段 表引擎都變了，如果想要保持一樣的引擎，就在table名稱後邊加上 ...
sql count執行速度測試
最近做專案開發的時候要對資料庫裡面的資料數量進行統計使用，資料庫的大概有2000w多的資料。資料庫是mysql5.6 用的是遠端連線測試 elect count 執行語句 select count from t banlong push regdev 執行5次，平均耗時17.5s select co...
MS SQL執行速度優化
1 大表變小表，小表再連線。但是ms sql 會自動分析執行計畫，並且如檢視，也會被還原為語句，一起被分析。如果表有where條件，先對表使用where來篩選出小表。再進行連線。連線時，小表去join大表。參見 color red 2 或exists 比 in 效率高 另外，首先兩個表的連線欄位都要...