現狀：新專案上線很難預估資料量（容易多估，導致資料庫資源浪費）。新的mysql集群使用上有一定風險，老的不支援分布式。
目的：實現一種方便控制的，可動態擴充套件的分布機制。
思路：通過乙個配置檔案來控制資料庫庫表的資源，通過對這個檔案的監聽結合spring動態載入的機制實現動態調整。該配置檔案的格式可以為：
db1:2#table1:0,table2:2,table3:1
db2:3#table1:2,table2:3
一行表示乙個資料庫及對應的表，":"後面為權重值。
當資料量增加時，可以增加表或庫。
當然，這個機制主要用於資料插入時。至於資料怎麼取，可以在資料的id裡融入庫、表的資訊。
目前以這個思路基本跑通了整個流程，證明基本是可行的。
完善：新增相應的監控機制，最好能通過監控來自動修改上面那個配置檔案來實現自動調整資源。
編寫乙個redis分布式鎖
分布式鎖 無論集群伺服器有多少臺，使用了該分布式鎖之後都可以統一的對某乙個資源進行鎖定 某個使用者加鎖之後只有他將分布式鎖釋放了才能讓其它的人操作資源。redis分布式鎖 根據redis中的乙個key的是否存在來實現的 如果key不存在則說明沒有人加鎖，所以建立key成功表示鎖獲取到了 如果key存...
設計乙個分布式RPC框架
提前先祝大家春節快樂！好了，先簡單聊聊。我從事的是大資料開發相關的工作，主要負責的是大資料計算這塊的內容。最近hive集群跑任務總是會出現thrift連線hs2相關問題，研究了解了下內部原理，突然來了興趣，就想著自己也實現乙個rpc框架，這樣可以讓自己在設計與實現rpc框架過程中，也能從中了解和解決...
cola 乙個分布式爬蟲框架
python爬蟲是用python程式語言實現的網路爬蟲，主要用於網路資料的抓取和處理，相比於其他語言，python是一門非常適合開發網路爬蟲的程式語言，大量內建包，可以輕鬆實現網路爬蟲功能。python爬蟲可以做的事情很多，如搜尋引擎 採集資料 廣告過濾等，python爬蟲還可以用於資料分析，在資料...