hadoop部署工具與配置工具

2021-09-06 14:09:55 字數 976 閱讀 9321

隨著hadoop的推出,大資料處理實現了技術上的落地。但是對於一般的公司和開發者而言,hadoop依舊是乙個陌生或者難以使用的技術。這次的阿里雲開發者大會上,向磊憑藉easyhadoop將hadoop平民化而獲得了最佳創意獎,infoq對他進行了採訪。

infoq: 首先請您做下自我介紹並介紹本次的參賽作品easyhadoop?

本次參賽的easyhadoop和phphiveadmin是我在業餘時間編寫的開源軟體,其中easyhadoop是介面化安裝部署和管理hadoop集群用的,phphiveadmin是用來管理和查詢hive資料倉儲用的。如果打個模擬的話,easyhadoop類似於cloudera manager,phphiveadmin類似於hue裡面的beeswax。主要是希望能夠幫助到一些需要用到hadoop做資料分析,又苦於hadoop技術門檻太高的公司能夠快速應用hadoop。

infoq: 目前國內公司對hadoop接受程度是怎樣的?

向磊:個人看法吧,國內有一些大的網際網路公司比較早就已經開始用hadoop分析業務資料,但是很多中小企業或者國企央企還是處於觀望狀態。我覺得主要還是由於hadoop的技術門檻比較高,推廣起來具有一定難度,對中小企業來說,hadoop的實施成本比較高。然後國企央企可能認為假如自己上了hadoop,維護和開發將是比較困難的事情。當前hadoop的人才稀有,所以,國內很多人聽說過hadoop了,但是能夠真正下決心在自己企業實施的還是少數。不過總的趨勢還是好的,願意嘗試hadoop的公司和個人越來越多了。主要我覺得是業務壓力逼的,傳統的關係型資料庫做統計分析現在確實有些力不從心了。資料量越來越大,乙個group by就記憶體溢位了。在量變已經無法滿足需求的時候,就需要質變了。

infoq:hadoop雖然很火,但是能夠操作起來的公司和技術人員卻不是很多,那麼你認為是什麼阻礙了hadoop的「平民化」?easyhadoop又是如何幫助開發者來降低門檻的?

Openstack部署工具

openstack發展很猛,很多朋友都很認同,2013年,會很好的解決openstack部署的問題,讓安裝,配置變得更加簡單易用。其實部署工具,最麻煩的地方,不是軟體的配置和安裝,而且網路。使用者的網路情況太多,還有openstack本身的網路也很複雜。關於如何step by step的部署,目前o...

MySQL部署工具 自動化部署工具Syncd介紹

特性go語言開發,編譯簡單 執行高效 web介面訪問,互動友好 許可權模型靈活自由 支援自定義構建 支援git倉庫 支援分支 tag上線 部署hook支援,可擴充套件性強 完善的上線工作流 郵件通知機制 部署流程 這是我自己通過測試發現的syncd部署上線的流程,看完這個流程再結合自己的需求是否使用...

ckermit 工具安裝與配置

kermit 檔案運輸協議是乙個半雙工通訊的協議 它支援7位ascii字元 資料以可多達96位元組長度的可變長度的分組形式傳輸 對每個被傳送的分組需要乙個確認 在每次會話中可以傳送多個檔案 比minicom好用kermit 安裝與配置 安裝 apt get install ckermit 配置 vi...