著名的 o』reilly 公司斷言:「資料是下乙個 『intel inside』 ,未來屬於利用資料並將其轉換成產品的公司和人們。」
大資料隱含的巨大社會、經濟價值已經引起了越來越多企業的關注,為了讓使用者獲得更便捷、靈活、高效的大資料解決方案,減少海量資料分析、處理、查詢的延遲,青雲qingcloud 基於 sparkmr 推出新一代可提供計算、儲存、分析、查詢一站式全方位的大資料服務 qingmr 。
作為 sparkmr 的公升級版本,qingmr 包含了 hdfs 分布式檔案系統,hadoop mapreduce 和 spark 資料處理框架,yarn 集群資源排程系統和 hive 資料倉儲工具。同時,更近一步整合了極速海量資料 olap 引擎 kyligence analytics platform (基於 apache kylin),實現海量資料極速分析及查詢功能。
ps:當前支援的元件及版本如下:
qingmr 功能特點
靈活的計算模式選擇
qingmr 在底層提供統一的 hdfs 作為資料儲存引擎,在上層提供 spark 及與 mapreduce 兩種計算引擎,並提供 yarn 作為排程系統。使用者可以輕鬆實現三種不同的計算模式,即 spark standalone、spark on yarn 和 mapreduce on yarn 三者之間的切換。
極速海量資料查詢
提供pb級資料集上的亞秒級查詢能力。
與大資料及儲存元件高可擴充套件性
qingmr 與 qingstor™ 物件儲存平台也進行了預置整合,使用者可以通過簡單的配置即可開啟對 qingstor™ 物件儲存的支援,以應對海量大規模資料的儲存問題。
定義排程器、**使用者等多租戶功能的支援
qingmr 提供了 spark 及 yarn 的自定義排程器的功能,開放了自定義 hadoop **使用者功能。
完善的服務級別監控
視覺化展現整體服務的運**況,提供監控告警、健康檢查和服務自動恢復等功能。
強大的ai及資料科學開發環境
提供python及r兩種語言的執行環境,支援 python 2 和 python 3 互相切換。 預置了多個 anaconda 發行版的資料科學包,為資料科學和機器學習/深度學習等 ai 開發場景。
qingmr 應用場景
流式資料處理
通過 qingmr spark 計算引擎流資料處理能力,對企業實時資料流進行計算,滿足對實效性要求較高計算,適用於實時監控、報警分析分等場景。
批量資料處理
通過 qingmr hadoop mapreduce 提供強大的批量資料處理能力,幫助企業解決海量檔案的分析處理問題,可用於日誌分析等場景。
極速資料查詢與分析
通過 qingmr 中整合的 kyligence analytics platform,減少海量資料查詢延遲,滿足企業 olap 場景中極速分析查詢的需求。
機器學習
基於 spark 記憶體計算模型框架,利用 mlib 提供的機器學習演算法,實現個性化推薦、流失**、精確營銷、客戶細分、客戶研究、市場細分、價值評估等應用場景。
qingmr,企業大資料服務最佳選擇
對企業來說,只需五步,即可在 3 分鐘之內部署一套 qingmr 大資料服務來滿足自身的各種需求,同時還可進行統一的資料管理,無論從成本還是效率來說,qingmr 都是企業大資料服務最佳選擇。
未來,還會有更多基於 hdfs 的大資料應用被納入到 qingmr 中,為使用者提供功能更為強大、使用更加便捷的大資料服務。
沉默三分鐘
網上見此真情之文,藉以自表 原文 http www.hecaitou.net p 3018 沉默三分鐘是心祭。那麼多年了,國旗終於為平民而降。那麼多天了,全民哀悼終於實現。與此同時,火炬停止傳遞,因為這不是乙個歡慶的時刻。很多年後回顧2008年,我 也許寧可它從日曆中消失。還沒有哪一年和今年一樣,才...
《每天感恩三分鐘》
每天感恩三分鐘 有位104歲的老太太耳聰目明,老而彌堅。有人向她請教長壽秘訣,老太太笑了 我有一帖靈丹妙藥,那就是每天化三分鐘時間感恩。她說,化一分鐘感恩父母 丈夫 兒女 鄰居和陌生人 一分鐘感恩大自然給予的種種關懷和體貼 一分鐘感恩每乙個祥和 溫暖和快樂的日子 感恩使她心裡永遠流淌著幸福的泉水,有...
三分鐘讀懂ZeroMQ
zeromq可以分開來看zero mq,mq就是message queue訊息佇列。zero是零,它代表零中介軟體 none broker 零延遲,同時,它又有了新的含義 零管理 零成本 零浪費。總的來說,零表示最小 最簡,這是貫穿於該項目的哲理。致力於減少複雜程度,提高易用性。訊息佇列有四個典型應...