技術雜談
10年定下近幾年的技術方向：
1, 精通架構：深入理解線上，線下分布式儲存&計算並能夠形成完整的知識體系；
2,理解系統：理解系統，網路，idc，虛擬化等相關知識；
3,掌握應用：通過應用證明和修正分布式知識體系；
11年做了一些事情：
1, 思考並討論google，amazon，microsoft，yahoo，facebook內部雲儲存系統的架構及實現，在雲儲存方向形成了初步的知識體系；
2, 讀了一些系統和網路方面的部落格和書籍，如褚霸同學的部落格，<3, 通過推廣ob學習了很多應用的入門知識，主要包括資料庫應用，olap應用，搜尋廣告應用；
12年準備做一些事情：
1, 整理一本雲儲存技術資料；
2, 深入學習並實踐系統優化相關知識，重點是cpu&記憶體優化；
3, 理解**資料庫oltp應用訪問模式，深入理解olap應用業務知識；
雲儲存觀點
1, 根據應用模式及實現難度，可以大致將雲儲存系統分為四類：blob儲存系統（**tfs，facebook haystack），分布式kv系統（**tair，dynamo），分布式**系統（bigtable，megastore，azure table storage）以及分布式資料庫（sql azure，amazon rds）。
4, 雲儲存的主要優勢在於節省成本，**於幾個方面：a, 系統優化，普遍有2~3倍效能提公升，對於某些特殊應用或一些特殊壓縮演算法，單節點優化可以有數量級的效能提公升；b, 機器buffer。為了防止異常，線上系統一般需要一半以上的機器buffer，大量線上系統利用率<20%，通過提高儲存服務能力，能夠節省2~3倍成本；c, 硬體量產帶來的低採購成本。總而言之，雲儲存帶來的成本節省在5倍以上。
5, 雲儲存系統有兩個目標：乙個是高可擴充套件性，終極目標是線性擴充套件，完全自動化，宕機恢復時間極短；乙個是強功能，終極目標是強一致性，關係型資料庫sql功能集。可擴充套件性與功能需要取捨，但支援絕大部分sql功能集的線性可擴充套件雲儲存系統將出現並成為主流。感悟
1, 權利與責任對等。有什麼樣的權利，就應該有什麼樣的責任。主管有帶人的權利，就有考慮其他人如何成長的責任；業務方說話聲音大，是因為要背業務kpi。技術驅動業務是不現實的，除非技術揹負業務kpi。
2, 保持樂觀。這個世界有太多的不公平，尤其是在**。然而，社會總是不斷朝著公平這個方向發展的，在網際網路這個小圈子裡面還是相對公平的。做好自己能夠控制的，忽略自己不能控制的，多想想你有什麼，你想要什麼，最重要的是，你還需要並且能夠做什麼？
3, 技術與業務。技術只有與業務相結合才能產生價值，從無到有做好一件事情，最重要的一點就是是否精通業務；然而對於技術產品，比如儲存產品，這件事情能夠做到多大，技術的深度會起重要甚至決定性作用。業務是從0做到10的能力，技術是從10做到1000的能力。
4, 堅持與執行力。乙個人最重要的能力是把規劃好的事情用最有效的方式執行下去，拿到結果。規劃是從多條路裡面選一條路，既然是選擇，而且這個選擇過程可能很痛苦，那麼這些讓人糾結的選擇之間投入產出比一定是相當的。選擇了就堅持下去，只要執行得好，往往都能拿到好的結果，即使選擇不是最優的。生活
1, 英孚沒有達到8級的目標，只到6級就沒有堅持下來了，沒有明確目的的學習往往很容易被其它事情打斷；
2, 2023年沒有學車，2023年必須學完；
3, 上下班時間太長，健身計畫有些中斷，2023年目標比較現實，每週去健身房跑步一次就可以了。
《大規模分布式儲存系統》讀書摘記（持續更新）
3 分布式系統 3.5 容錯 故障檢測 故障恢復 3.6 可擴充套件性 總控節點 資料庫擴容 異構系統 3.7 分布式協議 兩階段提交協議 2pc paxos協議 paxos與2pc 跨機房部署 4 分布式檔案系統 4.1 google檔案系統 系統架構 關鍵問題 一致性模型 追加流程 容錯機制 m...
大規模分布式壓測
阿里雲效能測試頁面 需要臨時擴容他們的機器來支援100w的qps，每秒100w的請求，聽起來還是挺恐怖的。什麼概念呢，2013 年雙12的大秒系統的峰值qps也就在42萬多。從這樣的資料來看，這個客戶的需求高的離譜。但是既然使用者有這個需求，我們還是需要滿足客戶的期望。遇到問題主要有 遇到的挑戰主要...
分布式系統 （大規模分布式系統原理解析和架構實踐）
分布式系統的基礎理論 分布式系統 多台機器通過網路連線在一起，作為乙個整體為上層提供服務。一 基礎理論知識 資料分布 複製 一致性 容錯。1 異常 1 伺服器宕機 記憶體錯誤，伺服器停電 如何通過讀取持久化戒指 機械硬碟 固態硬碟 中的資料恢復記憶體資訊，從而恢復宕機前某個一致性狀態。2 網路異常 ...