1、什麼是推測執行？
在spark作業執行中，乙個stage裡面的不同task的執行時間可能不一樣，有的task很快就執行完成了，而有的可能執行很長一段時間也沒有完成。造成這種情況的原因可能是集群內機器的配置效能不同、網路波動、或者是由於資料傾斜引起的。而推測執行就是當出現同乙個stage裡面有task長時間完成不了任務，spark就會在不同的executor上再啟動乙個task來跑這個任務，然後看哪個task先完成，就取該task的結果，並kill掉另乙個task。其實對於集群內有不同效能的機器開啟這個功能是比較有用的，但是如果僅僅是資料傾斜問題可能用處就不是很大，因為即使換了機器執行，它的本質問題–資料量大並未解決，所以也有可能會執行很長的一段時間。
2、如何開啟推測執行
將引數spark.speculation設定為true即可。
spark.speculation=true
相關引數
spark.speculation.interval 100：檢測週期，單位毫秒
spark.speculation.quantile 0.75：完成task的百分比
spark.speculation.multiplier 1.5：時間比例12
3
PCB板繪製之我見，已經畫了很長時間了
最近看到我的同門的狀態，畫板子中 重畫板子中 程式其實很久就寫的差不多了，由於新唐cortex m051的flash只有8kb，我編譯好的二進位制檔案已經超出了這個範圍，已經除錯不了程式了，所以就畫pcb板了，用新買來的新唐cortex m052 flash有16kb，才5塊2，價效比高 於是我和我...
js獲取某個時間段前多長時間
獲取當前時間 function frontonehour fmt if y test fmt fmt fmt.replace regexp.1,currenttime.getfullyear substr 4 regexp.1.length for var k in o return fmt con...
Oracle 恢復資料到某個時間節點
注意 恢復的時間點與當前時間節點表結構需要一致，truncate的資料無法恢復 1.建立臨時表儲存該時間節點表的資料 create table temp table 臨時表 as select from t pm paramitem 原表 as of timestamp to timestamp 2...