Gizzard Twitter開源資料切分中介軟體

2022-08-14 19:18:12 字數 802 閱讀 7886

it168技術】gizzard是twitter在11年4月份新推出的乙個通用資料切分中介軟體,在twitter的架構中占用重要的作用。

從圖中看到gizzard主要用於在mysql之上,作用是實現資料切分。但目前據說 gizzard最主要的作用在用於在memcache和redis上。眾所周知,memcache和redis本身缺少(或者實現較弱)主從同步機制。在 這裡gizzard的作用就不僅僅是資料切分,還有備份多寫、異常佇列等多項功能。

官方介紹如下:

gizzard: a library 

forcreating 

distributed

datastores

按照官方翻譯是:乙個用於建立分布式儲存資料的庫。但從功能上來說,gizzard更適合叫做乙個通用的資料切分中間庫。如下圖所示

gizzard的主要功能如下:

①支援不同的底層資料儲存。redis/memcache/mysql等都支援,原則上只要寫操作冪等(也就是寫操作與順序無關)則都可以支援。

②通用資料拆分支援。支援一致性hash、主鍵mod、自定義拆分函式等多種方式。

③通過replication tree實現不同節點資料的備份機制。

④容錯機制。在一台機器出問題後,會自動儲存更新延遲佇列,在恢復後重新執行,從而保證一致性。

⑤快速的遷移。

Structured Streaming 開發入門

structured streaming 作為 spark 家族的新成員,通過 spark sql dataframe 來處理 batch streaming 資料,基本的 sparksql api 即可實現離線處理和流式處理,大大的方便了流式計算的開發,另外還提供了豐富的功能。structured...

傳奇開服怎麼開的起來?

有很多想開服的朋友都會問我,傳奇開服怎麼開的起來?其實這個問題從層面上講是有些模糊的,怎麼開的起來?淺層面來看,有伺服器 版本 備案網域名稱和平台就可以開起來 沒有技術的怎麼辦呢?沒有技術的建議大家先學會一些基礎的開服技術,例如架設 搭站 開區合區 微端配置 登入器配置和設定gm號這些,真的不難,不...

電腦開不開機 且開且珍惜

電腦開不開機了?這個確實有點棘手 不過大多數的時候都不會有太大問題 我在哈工大電腦110俱樂部做電腦義診的時候也經常遇到這種情況,今天就和大家談一談經驗。按電源鍵,燈不亮,沒反應 這種情況 遇見過!這種情況多半是電腦拆機清灰之後或是電腦受到了重創。有些不細心的志願者拆機之後忘了把電源排線插上是時有發...