大資料浪潮襲來 企業該如何選擇NoSQL?

2021-09-22 23:46:36 字數 1808 閱讀 7501

文章講的是大資料浪潮襲來 企業該如何選擇nosql

在當今這個大資料時代下,優秀的傳統關係型資料庫管理系統已經無法應對很多資料庫處理任務。在今天的文章中,我們將一同**如何在各類nosql後備方案中找到適合自己的選擇。

在過去幾個禮拜裡,我一直在芝加哥為自己的公司部署衛星辦公室。雖然矽谷確實算得上是大資料**商的搖籃,但芝加哥作為大資料使用者及從業者們的根據地、重要程度同樣不容忽視。無論是有心參與還是無意偶遇,這裡的人們每一天都會跟大資料活動產生不少交集。在每一次大資料相關活動當中,我們都不可避免地要與nosql打交道、議題也總會談到為什麼傳統關係型資料庫管理系統已經無法滿足如今的新需求。就目前來看,大部分讀者朋友對這一問題還不太熟悉。nosql資料庫分為幾大不同種類,我們擁有多種合理的出發點來針對不同資料集選用不同的nosql資料庫型別。總而言之,其實際複雜程度遠遠超出了技術業界在營銷中所宣稱的「nosql就是規模化」。nosql資料庫種類如此眾多,部分原因可以歸結於cap原理,又被稱為brewer原理。

根據cap原理的說法,在以下三種特性當中我們只能同時實現兩者:一致性、可用性以及劃分限度。不同的資料集以及不同的執行時間規則迫使我們採取不同的解決方案。各類資料庫技術針對的具體問題也有所區別。資料自身的複雜性以及系統的可擴充套件能力都是需要認真考慮的重要因素。

產生分歧的另乙個理由則源自基礎電腦科學、甚至可以算是基礎數**算。某些資料集能夠輕鬆與鍵-值對進行對映;從本質上講,資料的**化並不會削弱其實際意義,我們也沒有必要對資料關係進行重組。在另一方面,資料集與其它資料專案間的關係可以說同資料專案本身一樣重要。

換句話來說,關係型資料庫在能夠作為鍵-值對處理的資料領域發揮極大效力,但卻不善於處理要求更多背景資訊的資料。前者對可擴充套件性提出要求,後者則需要我們為其提供更多效能資源。

關係型資料庫以關係代數為基礎,我們基本上可以將其視為集合論的衍生產物。基於集合論的關係適用於多種資料集,但對於必須要求具備父-子或者關係距離要素的內容來說效率不高。在這種情況下,大家可能需要採用圖論來設計資料解決方案。

鍵-值對資料庫

鍵-值對資料庫當中包括couchbase以及apache cassandra。這些方案具備高度可擴充套件性,但卻無法幫助開發人員順暢處理複雜資料集。如果大家需要進行磁碟備份、分布式雜湊表並通過一致性對資料內容加以檢查,那麼上述方案既具備良好的規模化能力、又能提供出色的處理速度。然而如果我們需要通過某個鍵來獲取另乙個鍵、進而訪問第三個鍵以查詢相關值,那麼問題就會變得非常複雜。

列族/大表資料庫

大部分鍵-值資料庫(包括cassandra在內)都會提供某種形式的列組,我們可以將其理解為「列族」或者「大表」。而以hbase為代表的某些資料庫則從開發之初就以列族作為設計思路。這是鍵-值資料庫的一種更為先進的表現形式。從本質上講,其中的鍵與值 存在一定程度的復合。我們可以將其視為一套貫穿多維陣列的雜湊對映。基本每乙個列都容納著一行資料。根據datastax公司(一家專門銷售cassandra認證版本的企業)產品副總裁robin schumacher的觀點,「cassandra人氣最高的使用例項就是處理時間序列資料,這些資料可以來自裝置、感測器、**(例如web日誌)乃至金融記錄資料等等。這些資料的產生速度通常非常之快,而且往往一次性來自多個位置、增長幅度驚人,需要出色的寫入能力以及以時間片段為基礎的高效能讀取配。

大家也可以利用mapreduce來打理這類例項,這是因mapreduce最擅長的就是解析半結構化資料。它們具備極高的可擴充套件性,但通常不具備事務型處理能力。如果資料之間的關係與資料本身的重要性不相上下(例如距離或者路徑計算),那麼請不要使用列族/大表資料庫。

大資料時代 企業該如何布局全網營銷

近年來,隨著pc普及度和市場飽和度越來越高,相關統計資料顯示,全球傳統pc的銷量已經從2012年的3.43億台降至2015年的2.32億台,從這些資料不難看出,在過去的三年,部分pc市場被其他終端所占領。移動端營銷能夠快速有效地捕捉消費者的需求,並具有較強的互動性,對於精準營銷有較大作用。如果企業在...

新創企業該如何選擇分銷渠道 1

新創企業該如何選擇分銷渠道?1 hc360慧聰網 2003 11 24 10 00 51 正如我在課程之初所提出的那樣,大多數情況下,乙個新創企業業成功或失敗的原因不是技術,而是營銷。上課之前,洛迪什教授特別地強調營銷在新創企業的重要性。我曾經對14位風險投資家做過深入訪談,他們一共給200家新創企...

大資料時代 資料該如何保護?

隨著資料發掘的不斷深入和在各行業應用的不斷推進,大資料安全的 脆弱性 逐漸凸顯,國內外資料洩露事件頻發,使用者隱私受到極大挑戰。而且在大資料環境下隱私洩露的危險,不僅僅在於洩露本身,還在於基於資料對下一步行動的 和判斷,因此大資料時代的隱私保護儼然成為大資料應用發展的一項重要課題。目前隱私資料洩露的...