大資料技術 HBase與Solr系統架構設計

2022-08-24 18:21:11 字數 544 閱讀 1374

如何在保證儲存量的情況下,又能保證資料的檢索速度。

hbase提供了完善的海量資料儲存機制,solr、solrcloud提供了一整套的資料檢索方案。

使用hbase搭建結構資料儲存雲,用來儲存海量資料;使用solrcloud集群用來搭建搜尋引擎,將要查詢的結構化資料的id查詢出來,只配置它儲存id。  

1.使用者write data寫資料(wd)

從使用者提交寫資料請求wd1開始;經歷wd2寫入mysql資料庫或寫入結構資料儲存雲中;wd3提交到solr集群中,從而依據業務需求建立索引。

2.使用者read data讀資料(rd)

從使用者提交讀資料請求rd1開始;經歷rd2直接讀取mysql中資料或向solr集群請求搜尋服務;rd3向solr集群請求得到的搜尋結果為id,再向結構資料儲存雲中通過id取出資料,最後返回給使用者結果。

solr與hbase架構設計

大資料 Hive與HBase

hive hive是基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單的sql查詢功能。hbase hbase是hadoop的資料庫,乙個分布式 可擴充套件 大資料的儲存。hbase和hive在大資料架構中處在不同位置,hbase主要解決實時資料查詢問題,hiv...

大資料技術Hbase和Hive詳解

大資料技術hbase和hive詳解,今天給大家介紹一下關於零基礎學習大資料之hbase和hive是多麼重要的技術,那麼兩者有什麼區別呢?下面我們一起來看一下吧。apachehive是乙個構建在hadoop基礎設施之上的資料倉儲。通過hive可以使用hql語言查詢存放在hdfs上的資料。hql是一種類...

大資料技術之HBase第3章 HBase資料結構

與nosql資料庫們一樣,row key是用來檢索記錄的主鍵。訪問hbase table中的行,只有三種方式 1.通過單個row key訪問 2.通過row key的range 正則 3.全表掃瞄 row key行鍵 row key 可以是任意字串 最大長度 是 64kb,實際應用中長度一般為 10...