以分布式併發的方式處理和建立的無限的元組序列。
在申明每個流的時候,會給它乙個id識別符號。
outputfieldsdeclarer
spouts是乙個拓撲裡流的源頭。也就是說,流的起點是spouts。
spouts從外部讀入元組資料並將其放入到拓撲中。
寫spouts時必須要實現的介面。
拓撲中所有的資料處理都是在bolts
中完成的。
bolts的主要方法是execute,它的作用是用來輸入乙個新的元組。
bolts傳送乙個新的元組用outputcollector物件。
bolts在元組處理完成的時候必須要呼叫 outputcollector物件的ack方法,這樣做的目的是為了通知storm元組處理完成。
storm提供了ibasicbolt介面來自動完成確認動作。
outputcollector是執行緒安全的物件,可以在任何時候被呼叫。
irichbolt:bolts的通用介面。
ibasicbolt:定義bolts做過濾或其它簡單功能的時候用的介面。
outputcollector:bolts用這個物件的勢力傳送元組到輸出流。
1 ,storm 框架介紹
批處理 一批資料一起,走一波 例如 mr 實時處理 不停走,來乙個資料,走一波 例如 storm storm 是個實時的 分布式以及具備高容錯的計算系統 storm 程序常駐記憶體 storm 資料不經過磁碟,在記憶體中處理 nimbus 主節點程序,老闆 supervisor 分節點守護程序,分店...
推薦系統 1 介紹
介紹 協同過濾 cf 協同過濾中的高階主題 advanced topics in cf 基於內容的推薦系統 contented based recommendation 基於知識的推薦系統 knowledge based recommendation 序列化推薦系統 sequential recom...
機器學習1 介紹
2021.1.9 從今天起開始系統地學習深度學習。課程網頁 李巨集毅教授的機器學習課程網頁 如果要找的函式的輸出是乙個數值 scalar regression 如果要找的函式的輸出是兩個或多個可能 classification 機器學習除了regression classification外,還有g...