Spark採坑系列

####日期轉時間戳計算

必須要加日期格式，不然返回為null

unix_timestamp

select unix_timestamp(

'2016-04-08'
,'yyyy-mm-dd');
1460041200

spark_history_opts=

"-dspark.history.fs.logdirectory=hdfs:"

./start-history-server.sh hdfs:

一定要加上日誌的路徑 否則會報錯

####spark-submit讀取kafka報錯

concurrentmodificationexception: kafkaconsumer is not safe for multi-threaded access

將spark.streaming.kafka.consumer.cache.enabled``false即可

採坑系列之JPA查詢

最近在研究spring的jpa的動態查詢，使用比較方便，但是著實也踩了不少的坑，簡單的總結一下。com.github.wenhao jpa spec 2.2.1 兩個關聯表 user和address 配置 引用lombok依賴便可以利用註解省略setter和getter方法，下面 是兩個關聯表多對多...

採坑系列 nginx超時配置 404

故事來了 在很久很久以前我們的主人公小猿開了一家飯店取名為nginx，並且兼職客棧的廚師，因為小猿廚藝甚是了得，於是沒過多久十里八村的人都都會到nginx客棧做客，每天生意非常火爆，但是因為廚師只有小猿一人，所以排隊的人非常多，小猿看著鄉親們排隊，心裡面也過意不去，於是為了節約鄉親們的時間，小猿設定...

採坑記錄switch坑

speed 0 switch speed speed 初始化為0後，你猜最終列印的結果是誰，最終列印的是150 因為switch條件的case判斷時只會有兩種結果，true false 初始化speed為0 走到第乙個case裡面，speed 不大於等於100 返回false，坑來了，因為初始值為0...