spark 是在 hadoop 的基礎上進行了一些架構上的改良。spark 與hadoop 最大的不同點在於，hadoop 使用硬碟來儲存資料，而spark 使用記憶體來儲存資料，因此 spark 可以提供超過 ha?doop 100 倍的運算速度。由於記憶體斷電後會丟失資料，spark不能用於處理需要長期儲存的資料。
storm 是 twitter 主推的分布式計算系統。它在hadoop的基礎上提供了實時運算的特性，可以實時的處理大資料流。不同於hadoop和spark，storm不進行資料的收集和儲存工作，它直接通過網路實時的接受資料並且實時的處理資料，然後直接通過網路實時的傳回結果。
samza 是由 linked in 開源的一項技術，是乙個分布式流處理框架，專用於實時資料的處理，非常像twitter的流處理系統storm。不同的是sam?za 基於 hadoop，而且使用了 linked in 自家的 kafka 分布式訊息系統。
samza 非常適用於實時流資料處理的業務，如資料跟蹤、日誌服務、實時服務等應用，它能夠幫助開發者進行高速訊息處理,同時還具有良好的容錯能力。
大資料分析Python有哪些爬蟲框架
一 scrapy scrapy是乙個為了爬取 資料，提取結構性資料而編寫的應用框架。可以應用在包括資料探勘，資訊處理或儲存歷史資料等一系列的程式中。用這個框架可以輕鬆爬下來如亞馬遜商品資訊之類的資料。二 pyspider pyspider 是乙個用python實現的功能強大的網路爬蟲系統，能在瀏覽器...
大資料分析工具
新 指數 清博大資料 新 指數 www.gsdata.cn 是新 大資料第一平台，為運營新 利器 現已開通賬號分鐘級監測服務，打擊粉絲造假賬號，支援使用者自主監測新 資料 定製各類榜單，並提供資料api等各類增值服務。資料視覺化工具 cytoscape 圖表秀 資料觀 微博足跡視覺化 bdp個人版 ...
大資料分析流程
愛資料學院 welcome 一 為什麼要做乙份資料報告 你是乙個工作了一段時間的白領，你覺得現在這份工作不適合你，你下班以後去逛知乎，在上面看到很多人在說大資料代表未來，資料分析師是21世紀最 的十大職業之一 你激動了，你也要成為資料分析師，你利用空餘時間補上了統計知識，學了分析工具，然後發現自己目...