基本了解:
hbase:是乙個分布式的、面向列的開源資料庫,該技術**於 fay chang 所撰寫的google**「bigtable:乙個結構化資料的分布式儲存系統」。就像bigtable利用了google檔案系統(file system)所提供的分布式資料儲存一樣,hbase在hadoop之上提供了類似於bigtable的能力。hbase是apache的hadoop專案的子專案。hbase不同於一般的關聯式資料庫,它是乙個適合於非結構化資料儲存的資料庫。另乙個不同的是hbase基於列的而不是基於行的模式。
結構介紹
hbase – hadoop database,是乙個高可靠性、高效能、面向列、可伸縮的分布式儲存系統,利用hbase技術可在廉價pc server上搭建起大規模結構化儲存集群。
與fujitsu cliq等商用大資料產品不同,hbase是google bigtable的開源實現,類似google bigtable利用gfs作為其檔案儲存系統,hbase利用hadoop hdfs作為其檔案儲存系統;google執行mapreduce來處理bigtable中的海量資料,hbase同樣利用hadoop mapreduce來處理hbase中的海量資料;google bigtable利用 chubby作為協同服務,hbase利用zookeeper作為對應。[1]
上圖描述hadoop ecosystem中的各層系統。其中,hbase位於結構化儲存層,hadoop hdfs為hbase提供了高可靠性的底層儲存支援,hadoop mapreduce為hbase提供了高效能的計算能力,zookeeper為hbase提供了穩定服務和failover機制。
此外,pig和hive還為hbase提供了高層語言支援,使得在hbase上進行資料統計處理變的非常簡單。 sqoop則為hbase提供了方便的rdbms資料匯入功能,使得傳統資料庫資料向hbase中遷移變的非常方便。
教學課程:hbase教學
教學大綱
第1 章 : hbase原理 (6課時)
第2 章 : hbase偽分布式、命令 (4課時)
第3 章 : hbase完全分布式搭建 (2課時)
第4 章 : hbase** (8課時)
第5 章 : hbase表設計 (8課時)
第6 章 : hbase protobuf (4課時)
第7 章 : hbase優化 (3課時)
第8 章 : hbase mapreduce (4課時)
阿里雲大學官網(阿里雲大學 - 官方**,雲生態下的創新人才工場)
零基礎 HBase從學習入門開始
基本了解 hbase 是乙個分布式的 面向列的開源資料庫,該技術 於 fay chang 所撰寫的google bigtable 乙個結構化資料的分布式儲存系統 就像bigtable利用了google檔案系統 file system 所提供的分布式資料儲存一樣,hbase在hadoop之上提供了類似...
從入門開始,python學習(六)
因為公司網路原因,國慶假期原因等,直到今天才來記錄,感覺充實的感覺一下子回來了 上節部落格寫了,python異常簡介,捕獲異常,異常型別等 1.2 建立類 1.3 建立例項物件 1.4 類的繼承 1.5 方法重寫 1.1 物件導向簡介 1.1.1 類 class 用來描述具有相同的屬性和方法的物件的...
從入門開始,python學習(七)
1.1 簡介 正規表示式是乙個特殊的字串行,能方便的檢查乙個字串是否與某種模式匹配 re 模組使 python 語言擁有全部的正規表示式功能 1.2 re.match函式 re.match 嘗試從字串的起始位置匹配乙個模式,如果不是起始位置匹配成功的話,match 就返回none。函式語法 re.m...