了解 redis 的同學都知道它是乙個純記憶體的資料庫，憑藉優秀的併發和易用性打下了網際網路項的半壁江山。redis 之所以高效能是因為它的純記憶體訪問特性，而這也成了它致命的弱點 —— 記憶體的成本太高。所以在絕大多數場合，它比較適合用來做快取，長期不被訪問的冷資料被淘汰掉，只有熱的資料快取在記憶體中，這樣就不會浪費太多昂貴的記憶體空間。
但是 redis 的**太大了，用它來做持久儲存使用起來太方便了。要是記憶體的**低廉，真恨不得把所有的資料都堆到 redis 中，但是技術的選擇總是要考慮到現實世界的成本問題。那如何才能享受到 redis 作為持久層易用性的同時還可以節省記憶體成本呢？
它是 google 開源的 nosql 儲存引擎庫，是現代分布式儲存領域的一枚原子彈。在它的基礎之上，facebook 開發出了另乙個 nosql 儲存引擎庫 rocksdb，沿用了 leveldb 的先進技術架構的同時還解決了 leveldb 的一些短板。你可以將 rocksdb 比喻成氫彈，它比 leveldb 的威力更大一些。現代開源市場上有很多資料庫都在使用 rocksdb 作為底層儲存引擎，比如大名鼎鼎的 tidb。
但是為什麼我要講 leveldb 而不是 rocksdb 呢？其原因在於 leveldb 技術架構更加簡單清晰易於理解。如果我們先把 leveldb 吃透了再去啃一啃 rocksdb 就會非常好懂了，rocksdb 也只是在 leveldb 的基礎上添磚加瓦進行了一系列優化而已。等到我們攻破了 rocksdb 這顆氫彈，tidb 核動力宇宙飛船已經在前方不遠處等著我們了。
當我們將 redis 拿來做快取用時，背後肯定還有乙個持久層資料庫記錄了全量的冷熱資料。redis 和持久層資料庫之間的資料一致性是由應用程式自己來控制的。應用程式會優先去快取中獲取資料，當快取中沒有資料時，應用程式需要從持久層載入資料，然後再放進快取中。當資料更新發生時，需要將快取置為失效。
function getuser(string userid) user
} return user;
}function updateuser(string userid, user user)
複製**
嚴格來說我們還需要仔細考慮快取一致性問題，比如在 updateuser 方法中，資料庫正確執行了更新，但是快取 redis 因為網路抖動等原因置為失效沒有成功，那麼快取中的資料就成了過期資料。如果你將設定快取和更新持久存的先後順序反過來，也還是會有其它問題，這個讀者可以自行思考一下。
在多程序高併發場合也會導致快取不一致，比如乙個程序對某個 userid 呼叫 getuser() 方法，因為快取裡沒有，它需要從資料庫裡載入。結果剛剛載入出來，正準備要設定快取，這時候發生了記憶體 fullgc **暫停了一會，而正在此時另乙個程序呼叫了 updateuser 方法更新了資料庫，將快取置為失效（其實快取裡本來就沒有資料）。然後前面那個程序終於 fullgc 結束要開始設定快取了，這時候進快取的就是過期的資料。
leveldb 將 redis 快取和持久層合二為一，一次性幫你搞定快取和持久層。有了 leveldb，你的**可以簡化成下面這樣
function getuser(string userid) user
function updateuser(string userid, user user)
複製**
前面我們說道它是乙個 nosql 儲存引擎，它和 redis 不是乙個概念。redis 是乙個完備的資料庫，而 leveldb 它只是乙個引擎。如果將資料庫比喻成一輛高階跑車，那麼儲存引擎就是它的發動機，是核心是心臟。有了這個發動機，我們再給它包裝上一系列的配件和裝飾，就可以成為資料庫。不過也不要小瞧了配件和裝飾，做到極致那也是非常困難，將 leveldb 包裝成乙個簡單易用的資料庫需要加上太多太多精緻的配件。leveldb 和 rocksdb 出來這麼多年，能夠在它的基礎上做出非常乙個完備的生產級資料庫寥寥無幾。
在使用 leveldb 時，我們還可以將它看成乙個 key/value 記憶體資料庫。它提供了基礎的 get/set api，我們在**裡可以通過這個 api 來讀寫資料。你還可以將它看成乙個無限大小的高階 hashmap，我們可以往裡面塞入無限條 key/value 資料，只要磁碟可以裝下。
正是因為它只能算作乙個記憶體資料庫，它裡面裝的資料無法跨程序跨機器共享。在分布式領域，leveldb 要如何大顯身手呢？
這就需要靠包裝技術了，在 leveldb 記憶體資料庫的基礎上包裝一層網路 api。當不同機器上不同的程序要來訪問它時，都統一走網路 api 介面。這樣就形成了乙個簡易的資料庫。如果在網路層我們使用 redis 協議來包裝，那麼使用 redis 的客戶端就可以讀寫這個資料庫了。
如果要考慮資料庫的高可用性，我們在上面這個單機資料庫的基礎上再加上主從複製功能就可以變身成為乙個主從結構的分布式 nosql 資料庫。在主從資料庫前面加一層****（負載均衡器如 lvs、f5 等），就可以實現主從的實時切換。
如果你需要的資料容量特別大以至於單個機器的硬碟都容不下，這時候就需要資料分片機制將整個資料庫的資料分散到多台機器上，每台機器只負責一部分資料的讀寫工作。資料分片的方案非常多，可以像 codis 那樣通過****來分片，也可以像 redis-cluster 那樣使用客戶端**機制來分片，還可以使用 tidb 的 raft 分布式一致性演算法來分組管理分片。最簡單最易於理解的還是要數 codis 的****分片。
當資料量繼續增長需要新增節點時，就必須將老節點上的資料部分遷移到新節點上，管理資料的均衡和遷移的又是乙個新的高階配件 —— 資料均衡器。
看到這裡我相信讀者從整體上理解了分布式資料庫中 leveldb 所處的地位。下一節我們開始全面了解一下 leveldb 的記憶體資料庫特性。
從「及其所之既倦」到「吾生也有涯，而知也無涯」
我想，秋聲賦 終是一種晚境的悲嘆，即使追求的那麼久 那麼遠，當被辜負的那一天來臨 倦怠的那一天來到，也只能感慨系之了。初三的最重要課文是 醉翁亭記 和 岳陽樓記 分別落在了 人知從太守遊而樂，未知太守之樂其樂也 和 先天下之憂而憂，後天下之樂而樂 前者是與民同樂，後者是濟世情懷，如果前者還是以趣為先...
即生產品經理，何生互動設計師！矛盾何來？
明擺的矛盾和互動設計師的感嘆。其實非也，矛盾固然存在，因為兩者的工作有著巨大的交集和相似。其實 產品經理做的事情是產品的從無到有，即為骨骼。互動設計做的事情是產品的從有到優，即為血肉。1 矛盾的產生 產品經理會認為自己的結構和資訊沒問題，互動設計只需完成即可。互動設計認為自己很有想法，認為產品經理的...
MD5生成Key存入redis會發生碰撞嗎？
如果我們需要知道如上問題，首先需要新了解一下md5演算法,md5是128位hash碼 4個整數，每個整數4個位元組 我們假設它的計算結果是足夠隨機和足夠分散的。因此，乙個檔案的md5碼，有2的128次方 用2e128表示，下面都用這種方式表示 個可能。進而 我們知道，隨意找出來的兩個檔案的md5碼相...