大資料發展歷程

任何技術的出現，在前期都是理論先行，但此時沒有應用場景，不會大規模的推開，那技術都得不到深度的發展。

任何技術深度的發展，都是在有了應用場景，降低了門檻，才會真正的發展起來。

大資料技術的發展也是這樣的歷程：

最開始是由於像谷歌，雅虎這樣的搜尋引擎，因為儲存的網頁數量巨大，才有了這樣的大資料的概念。

所以大資料最早的應用場景就是搜尋引擎，但因為此時的技術發展不成熟，最早還只是大資料的儲存，和一點簡單的大資料應用，比如檢索，主要是21世紀初。

不像現在，經過20年的發展，大資料在各行各業都有了應用，不僅僅是儲存，還包含計算和應用。

應用場景也從搜尋引擎擴充套件到醫療，社交，電商，物流，交通，旅遊等各行各業。

而大資料的發展，也從最早的大資料儲存，發展出大資料的計算，以及大資料處理的資源管理。

首先是需要解決大資料的儲存，之後是對儲存的這麼多資料進行計算處理，利用這些資料計算的結果，在處理大資料的過程中，單個機器的垂直擴充套件始終是有瓶頸，而水平擴充套件則是沒有邊界，水平擴充套件的這麼多機器就需要發展出資源管理器統一管理這些機器。這樣大資料的必須的三駕馬車就齊備了。

大資料未來如何發展？

現在大資料也被提了很多年了，也有很多從業者了，有了大資料的發展生態，不管是hadoop,spark 這些開源的框架讓從業者能夠快速搭建乙個大資料系統，構建大資料系統的應用。

那展望未來，未來我們的生產生活只會創造越來越多的資料，對這些資料進行收集，清洗，分析，應用將會成為常態；我們需要更為強大的儲存介質，計算能力，和管理系統；也許不僅僅是這三個方面，在更大資料的形態需要更高的要求。

將大資料基建化，大資料產業化，將會是未來的乙個趨勢。