雲棲大會 再談開源大資料

2021-09-23 18:02:20 字數 981 閱讀 6201

2016杭州雲棲大會在雲棲小鎮召開,本屆大會以「飛天・進化」為主題,內容規模比去年翻倍,從原本2天的議程增加至4天,從10月13日持續到16日,超過400場主題演講使開發者們對阿里雲計算生態發展和應用趨勢、前沿技術和產品有了更深刻的了解。

阿里在09年就開始嘗試使用hadoop技術,先後包括hadoop、spark、hbase及jtorm,這些開源技術在不同的業務線廣泛使用,推動阿里業務的發展。本論壇第一次聚集了阿里hadoop、spark、hbase、jtorm各領域的技術專家,講述hadoop生態的過去現在未來及阿里在hadoop大生態領域的實踐與探索。本論壇還發布了阿里雲e-mapreduce互動式產品。

在2016杭州雲棲大會第四天的「開源大資料技術專場」分會場上,范文臣、intel 研發經理鄭鍇、逸晗網路科技大資料平台負責人楊智、 intel技術專家毛瑋、阿里雲技術專家木艮圍繞開源大資料技術為大家哦做了精彩的分享。

范文臣:deep dive into catalyst

本次演講范文臣從 catalyst 的基本概念開始,深入講解了 catalyst 提供了哪些主要特性來支援 spark 的 api 抽象。

鄭鍇首先回顧了最近一兩年hadoop社群對hdfs 糾刪碼的支援,介紹ec對使用者的價值,適用場景和部署建議。然後重點思考了hadoop社群在hdfs上面接下來會怎麼走,介紹當前在做的幾個重要特性,**大資料儲存的發展趨勢,同時也希望跟使用者有效互動得到更多反饋。

內容包括逸晗網路科技的資料實時統計、資料處理平台、推薦實時反饋、推薦模型&排序機器學習模型訓練和更新等。

毛瑋:分布式流處理框架:功能對比及效能評估

毛瑋從流處理的核心概念,到功能的完備性,全方位對比了目前比較熱門的流處理框架:spark streaming, flink,storm和gearpump。同時從吞吐量個延時兩個方面,對各個平台進行了效能評估。

木艮:hadoop儲存與計算分離實踐

為什麼需要儲存計算分離、分離後的效能怎麼樣,做了哪些優化,適應哪些場景?是木艮在本次演講中告訴我們的內容。

雲棲大會 「天」與「人」的大資料

2016杭州雲棲大會在雲棲小鎮召開,本屆大會以 飛天 進化 為主題,內容規模比去年翻倍,從原本2天的議程增加至4天,從10月13日持續到16日,超過400場主題演講使開發者們對阿里雲計算生態發展和應用趨勢 前沿技術和產品有了更深刻的了解。在杭州雲棲大會第三天的 氣象專場 圍繞氣象業務系統雲化 氣象大...

雲棲大會 持續擁抱開源阿里雲計算能力三大突破

摘要 10月12日,阿里巴巴集團副總裁周靖人在雲棲大會上發布了阿里雲在大資料計算能力上的新突破 將bigbench資料規模擴充套件到100t 流計算2.0每秒峰值達千萬qps,整體鏈路延時亞秒級 e mapreduce對比同類產品平均效能提公升3倍。10月12日,阿里巴巴集團副總裁周靖人在雲棲大會上...

雲棲大會 持續擁抱開源阿里雲計算能力三大突破

10月12日,阿里巴巴集團副總裁周靖人在雲棲大會上發布了阿里雲在大資料計算能力上的新突破 將bigbench資料規模擴充套件到100t 流計算2.0每秒峰值達千萬qps,整體鏈路延時亞秒級 e mapreduce對比同類產品平均效能提公升3倍。阿里巴巴集團副總裁周靖人與英特爾公司資料中心事業部副總裁...