spark-streaming在讀取hdfs或者本地目錄下的靜態檔案時需要注意的幾點：
一、讀取路徑為讀取檔案所在的上一級資料夾，和所讀取檔案統計目錄下的資料夾中的內容不會被讀取（path路徑只能寫到資料夾，否則報空指標錯誤，但程式不會停止）
二、讀取檔案資料時，把要處理的資料檔案put或者mv到指定的檔案加下，不然streaming沒有資料輸出
三、spark-streaming對put或者mv進來檔案資料只讀取一次，後續向已有的檔案中追加的資料不進行讀取
四、spark-streaming只對資料夾中新新增的檔案進行資料讀取，已有的檔案不讀取
flink和spark stream等框架的對比
參考這篇文章 我們當時的目標就是要設計一款低延遲 exactly once 流和批統一的，能夠支撐足夠大體量的複雜計算的引擎。spark streaming 的本質還是一款基於 microbatch 計算的引擎。這種引擎乙個天生的缺點就是每個 microbatch 的排程開銷比較大，當我們要求越低的...
flink和spark stream等框架的對比
我們當時的目標就是要設計一款低延遲 exactly once 流和批統一的，能夠支撐足夠大體量的複雜計算的引擎。spark streaming 的本質還是一款基於 microbatch 計算的引擎。這種引擎乙個天生的缺點就是每個 microbatch 的排程開銷比較大，當我們要求越低的延遲時，額外的...
簡單實現靜態資源讀取
readfile.js 如下 引入需要的各個模組 建立伺服器 把讀取內容呈遞給前台，這裡是找不到檔案的情況下報錯 else was not found on this server.監聽埠號 server.listen 埠號 ip位址 這裡只用埠號 server.listen 8989 index ...