表面上看是因為shuffle沒有地方寫了，如果後面的stack是local space 的問題，那麼清一下磁碟就好了。上面這種問題，是因為乙個excutor給分配的記憶體不夠，此時，減少excutor-core的數量，加大excutor-memory的值應該就沒有問題。
2、報錯：error executor.coarsegrainedexecutorbackend: driver disassociated [akka.tcp://sparkexecutor@pc-jfqdfx31:48586] -> [akka.tcp://sparkdriver@pc-jfqdfx30:41656] disassociated! shutting down.
15/07/23 10:50:56 error executor.coarsegrainedexecutorbackend: received signal 15: sigterm
這個錯誤比較隱晦，從資訊上看來不知道是什麼問題，但是歸根結底還是記憶體的問題，有兩個方法可以解決這個錯誤，一是，如上面所說，加大excutor-memory的值，減少executor-cores的數量，問題可以解決。二是，加大executor.overhead的值，但是這樣其實並沒有解決掉根本的問題。所以如果集群的資源是支援的話，就用1的辦法吧。
另外，這個錯誤也出現在partitionby(new hashpartition(partiton-num))時，如果partiton-num太大或者太小的時候會報這種錯誤，說白了也是記憶體的原因，不過這個時候增加記憶體和overhead沒有什麼用，得去調整這個partiton-num的值。
遇到的一些問題心得
一.專案的版本管理。1 gnu 風格的版本號命名格式 主版本號 子版本號 修正版本號 編譯版本號 major version number.minor version number revision number build number 示例 1.2.1,2.0,5.0.0 build 13124...
ubantu遇到的一些問題
給hackywit可以通過sudo提公升root許可權 hackywit cxb hostname cxbhackywit cxb sudo vim etc hosts sudo hackywit 的密碼 127.0.0.1 localhost cxbhackywit cxb sudo apt ge...
opengl 遇到的一些問題
在使用glteximage2d 函式時，發現可以載入512 512大小的，但是卻不能載入2018 1794的。加上畫素儲存的格式就行了 glpixelstorei gl unpack alignment,1 glteximage2d gl texture 2d,0,gl rgb,width,heig...