samza是近日由linkedin開源的一項技術，它是乙個分布式流處理框架，專用於實時資料的處理，非常像twitter的流處理系統storm。不同的是samza基於hadoop，而且使用了linkedin自家的kafka分布式訊息系統。
組成samza的三個部分
使用hadoop的人都應該很熟悉這個體系架構
最大的優點在於和kafka以及yarn平台比較好的結合，yahoo的storm on yarn還不太成熟，至於samza這個基於hadoop的流處理框架是否優於yahoo的以及storm，這個還不確定，需要實踐去證明。
從官網介紹上看，samza使用原生的yarn，而其他基於yarn的流處理框架基本都需要建立自己的資源管理框架或者在yarn的基礎再執行一層。
官方文件
hadoop 基於Streaming實現的編譯
hadoop入門教程 基於streaming實現的編譯，在streaming介面實現的程式中，使用者的map和reduce都是單獨的可執行程式，在上節實現中是使用c 實現的，包括map程式wordcountmap.cpp，reduce程式wordcountreduce.cpp。由於寫streamin...
基於hadoop的BI架構
bi系統，是企業利用資料驅動運營的乙個典型系統。bi系統通過發掘企業執行過程中的資料，發現企業的潛在風險 為企業的各項決策提供資料支撐。傳統的bi系統通常構建於關係型資料庫之上。隨著企業業務量的增大和對使用者行為實時提取分析的需要越來越高，傳統的bi架構對實時性的分析和大資料量的分析已經無法滿足，新...
基於流的I O 流與緩衝
基於流的操作最終都會呼叫read或write進行操作。即流的內部封裝了這兩個系統呼叫。緩衝分如下三種 全緩衝 相應巨集 io full buf 直到緩衝區被填滿，菜呼叫系統i o函式。磁碟檔案讀寫通常是全緩衝的。行緩衝 相應巨集 io line buf 直到遇到換行符 n 才呼叫系統i o函式。標準...