在本次演講中，楊海潮簡述了分布式資料庫設計中的sharding策略：replication和partitioning；mysql如何和cache系統更好的結合來實現高併發的讀寫服務，同時減少應用開發複雜度，以及如何應對cache層失效帶來的高併發讀以及瞬時寫入高峰問題；怎樣使用wt和wr的實現思想來處理資料庫的讀/寫擴充套件性。
sharding的原則：楊海潮表示有以下幾點：一開始就關注架構設計；scale up--scale out--scale up；成本可控下硬體是首選；逐步解決拆分中成本問題。
caching原則：採用一致性hash部署；cache按照冷熱分層；所有熱資料都放入cache；雙寫來避免雪崩問題；佇列方式持久化落入mysql。楊海潮談到，db的延時越來越不可以接愛，進行了併發複製的開發，降低響應時間還是沒有解決。
微博爬蟲搭建為分布式
為了實現微博資料一天一千萬 的資料量，分布式爬蟲是必須的，之前有提到過，但是沒有寫，現在來補全 廢話不多說，分布式爬蟲的優點相信大家都知道，就不多說了，在將普通的爬蟲改為分布式，只需要改兩點即可，非常簡單，不要被嚇到 第乙個 將單機爬蟲繼承的類改為分布式爬蟲類，from scrapy redis.s...
基於Mysql實現分布式鎖
可以保證在分布式部署的應用集群中，同乙個方法在同一時間只能被一台機器上的乙個執行緒執行。這把鎖要是一把可重入鎖 避免死鎖 這把鎖最好是一把阻塞鎖 根據業務需求考慮要不要這條 這把鎖最好是一把公平鎖 根據業務需求考慮要不要這條 有高可用的獲取鎖和釋放鎖功能 獲取鎖和釋放鎖的效能要好 create ta...
mysql分布式搭建 MySQL分布式集群搭建
1 準備集群搭建環境 使用6臺虛擬機器來搭建mysql分布式集群，相應的實驗環境與對應的mysql節點之間的對應關係如下圖所示 管理節點 mgm 這類節點的作用是管理mysqlcluster內的其他節點，如提供配置資料，並停止節點，執行備份等。由於這類節點負責管理其他節點的配置，應該在啟動其他節點之...