由雅虎為工程師和資料科學家打造的apache hadoop曾因巨大的潛力而備受稱讚，但如今它卻受到了更快的產品的影響，而這些產品往往來自於它本身的生態系統——spark就是其中之一。今年早些，h20.ai的創始人sri ambati對datanami 曾說：「spark將會使hadoop處於絕地」。
但在過去的幾年中，hadoop似乎並沒有出現過任何衰退的跡象。在2023年atscale的調查報告中顯示：「在未來3個月內，已經有超過 76%的人使用hadoop來做更多的工作。」這些受訪者中大約有一半聲稱他們利用hadoop工作中獲得了一定的價值。hadoop作為乙個十多年的老品牌，在產品的採用方面並沒有減緩下降的趨勢，spark也並沒有做到真正取代hadoop。空口無憑，下面我們從以下幾個方面來分析一下spark在未來的幾年之內到底能不能真正的取代hadoop。
按行業劃分的市場滲透率
毫無疑問，為專家設計的產品一般都會停留在原來的軌道上，在其他方面不會有所涉及。但spark在各個行業都存在一些有意義的分布，這可能要歸功於各種市場上的大資料的氾濫。所以，雖然spark可能有更廣泛的應用，但hadoop仍然支配著原本預期的使用者群。
主要地理市場
在全球範圍內，我們可以看到informatica處於中心位置——在歐洲和美洲整體市場份額佔比達32%。在兩年半的時間裡，我們跟蹤了informatica在雲市場和工業領域的增長，結果顯示達到了50%的增長，而且在高等教育領域也處於領先地位。上週， informatica被gartner評為主資料管理解決方案2023年魔力象限的領導者。而hadoop仍然停留於過去成功的地理市場中。
公司規模的採用趨勢
在企業客戶中spark也沒有大範圍的涉及。我們注意到世界上大多數公司規模較小，一般都為1-50名員工，所以spark似乎並不是任何規模公司的唯一選擇。對於那些已經使用hadoop的人來說，這個產品也對企業和公司起到了一定的作用，而且 hadoop並不僅限於一種使用者。而hadoop無論在何種規模的公司中，使用率相對於spark還是非常高的。
寫在最後
此外，在調查的過程中，傳統的科技公司像ebay、verizon、惠普和亞馬遜等主流廠商已經開始使用spark，但是hadoop還沒有被大規模的拋棄。相反，使用者使用spark作為系統的介紹，利用這個程式來突破hadoop的障礙，兩者的結合，使得工作更高效的完成。
大資料時代，你會被誰出賣？
近日，京東 支付寶分別調整了隱私政策，新版隱私條款明確指出了收集和使用使用者資訊的目的，明確點出第三方合作夥伴的型別以及共享的個人資訊內容。此次調整源於7月26日 網信辦 工信部 公安部 國家標準委四部門聯合宣布啟動隱私條款專項工作，並於8月24日結束隱私條款評審。在層出不窮的個人資訊被洩露和各類網...
大資料時代之hadoop 了解hadoop資料流
了解hadoop，首先就需要先了解hadoop的資料流，就像了解servlet的生命週期似的。hadoop是乙個分布式儲存 hdfs 和分布式計算框架 mapreduce 但是hadoop也有乙個很重要的特性 hadoop會將mapreduce計算移動到儲存有部分資料的各台機器上。術語 mapred...
Hadoop之後 大資料的未來
在實時資料世界裡，為什麼我們還這麼執著於hadoop?根據451 research調查資料顯示，圍繞批處理架構的hadoop仍然是大資料 注 的代表技術，儘管其聲譽仍然超過實際部署情況。還沒有真正部署hadoop的企業可能想要再等一等。而隨著apache spark等其他技術 storm kafka...