豆瓣的基礎架構
本次閱讀的為豆瓣的基礎架構，
在服務層使用的為mysql、memcached、redis、beanstalkd，不一樣的是nosql的選擇——beansdb，這是我們在幾年前開源的kv資料庫，也是國內比較早開源的kv資料庫。
基礎服務層在初始階段使用的是tokyo cabinet作為儲存引擎，
之後使用的為bitcask儲存格式重寫了儲存引擎，效能更好。而通過beansdb可以對鍵做運算，通過雜湊運算實現分布和冗餘。
dpark顧名思義是spark的python實現，不過現在已經跟spark越來越不一樣了。和 hadoop 相比，spark可以使用記憶體做為快取加速分布式計算，dpark繼承了這個優點，這對於大規模資料的迭代計算非常有用。在豆瓣的應用場景下，因為我們的 離線計算很多是推薦演算法計算，這種計算涉及大量的迭代演算法，如果每次計算的結果都入磁碟再在下一輪計算載入，那效能是很差的，所以dpark能夠大幅提公升 效能。另外，因為dpark的編寫使用了函式式語言的特點，所以可以寫的非常簡潔。
雲時代架構讀後感一
給飛行中的飛機換引擎 作者用飛機換引擎作為乙個例子。把給飛行中的飛機 或飛馳的汽車 換引擎說成我需要對乙個正在飛速發展的系統進行大幅度的架構改造。分為這3種 在做換引擎方案選擇和設計的時候需要考慮到這麼幾個現實的情況 作者對安全也有深刻的見解，列舉了十大原則 1 安全問題是木桶效應。整個系統的安全程...
雲時代架構讀後感（十五）
隨著電商業務開展和業績增長，系統結構和邏輯變得越來越複雜。為應對業務規模和複雜性的增長，需要將系統按照細分專業領域拆分 為應對流量和交易的增長，需要將 進行大量子站拆分。這種狀況下，soa在保持清晰的系統結構和良好的邏輯組織方面提供了有力保障，為業務優化調整及新業務的開展帶來巨大收益。通過服務封裝和...
雲時代架構讀後感（十三）
kafka上儲存的binlog未帶schema，而hive表必須有schema，並且其分割槽 欄位等的設計，都要便於下游的高效消費。對camus做的第乙個改造，便是將kafka上的binlog解析成符合目標schema的格式。checkdone的檢測邏輯 checkdone是怎樣檢測的呢？每個kaf...