最近在研究spark，遇到問題就記錄一下，版本號是spark-0.9.0-incubating-bin-hadoop1
1.使用sbt assembly編譯之後使用run-example出現如下錯誤
bin/run-example: line 47: [: /home/cookies/downloads/spark-0.9.0-incubating-bin-hadoop1/examples/target/scala-2.10/spark-examples_2.10-assembly-0.9.0-incubating.jar: binary operator expected
failed to find spark examples assembly in /home/cookies/downloads/spark-0.9.0-incubating-bin-hadoop1/examples/target
if [ -e "$examples_dir"/target/scala-$scala_version/*assembly*[0-9tg].jar ]; then
export spark_examples_jar=`ls "$examples_dir"/target/scala-$scala_version/*assembly*[0-9tg].jar`
解決方法：刪除第乙個jar檔案（只刪除第二個jar檔案效果未知，估計也是可以的）
參考：未完待續…
Spark面試常見問題
根據個人面試經歷總結 1 簡單說一下hadoop和spark的shuffle相同和差異?聯絡 主要的區別 乙個落盤，乙個不落盤，spark就是為了解決mr落盤導致效率低下的問題而產生的，原理還是mr的原理，只是shuffle放在記憶體中計算了，所以效率提高很多。2 spark有哪些運算元，列舉幾個你...
常見問題 朗動常見問題
常見問題一 方向盤變沉 檢查胎壓是否正常，輪胎是否過度磨損。助力幫浦不工作，前輪氣壓低。冬天的話，冷車在冬天助力油比較稠，方向會重一點。檢查轉向助力油。1 應該是是助力系統有問題或則助力潤滑油有問題。2 如果你在駕車時感覺方向盤變緊，汽車偏向一側，需要檢查輪胎，或進行車輪平衡 定位。在這些問題剛剛發...
面試常見問題 1 this的常見問題
this 的含義 this關鍵字是乙個非常重要的語法點。毫不誇張地說，不理解它的含義，大部分開發任務都無法完成。前一章已經提到，this可以用在建構函式之中，表示例項物件。除此之外，this還可以用在別的場合。但不管是什麼場合，this都有乙個共同點 它總是返回乙個物件。簡單說，this就是屬性或方...