大規模服務：
可擴充套件，負載均衡，保證冗餘，低運維成本，開發人數和開發方法的變化
資料處理：
磁碟—>記憶體—>快取—>cpu
障礙：
持續增長的服務，」無法在記憶體中計算「（記憶體要比磁碟快10^5~10^6倍）
linux的頁面快取：
先把磁碟內容讀入記憶體
——>建立頁面
建立好的頁面不會釋放而是儲存下來
——>頁面快取
除了例外情況，頁面快取會透明地作用在所有i/o上
——>例外的情況為負責磁碟快取部分（vfs）
vfs(virtual file system）：虛擬檔案系統vfs作為乙個抽象層，統一各個檔案系統不同的函式，使之擁有共同介面，從而使用同樣的機制同樣的進行快取，實現頁面快取以提高效能。
lru(least recent used)：放棄最老的內容，留下最新的內容（其實就是個佇列）。
sar工具：①追溯過去的統計資料 ②周期性地檢視當前資料（詳細內容見sar命令小結，麥庫bigdata）
cpu擴充套件比較簡單，可以借助於：
增加相同結構的伺服器，通過負載均衡器來進行分散；
web、應用程式伺服器、爬蟲
i/o負載的擴充套件十分困難，可借助於：
資料庫；
大規模資料
處理大規模資料的重點：
能在記憶體中完成多少？
將磁碟尋道次數降到最低
可以實現分布式、有效利用區域性性
能應對資料量增加的演算法和資料結構
例如：線性搜尋——>二叉樹搜尋
o(n)--->o(log n)
資料壓縮 資訊搜尋技術
處理大規模資料中，程式開發的底層基礎
演算法、壓縮和搜尋
寫程式在處理大規模資料之前：
注意作業系統快取
以分布式為前提的rdbms應用
演算法和資料結構
以頁面快取為基礎的運維的基本規則
作業系統剛啟動時不要將伺服器投入生產環境
效能測試最好在快取優化後進行
《大規模web服務開發技術》筆記
2012 02 02 15 06 by teloon,716 visits,收藏,編輯 前段時間趁空把 大規模 web服務開發技術 這本書看完了，今天用一下午時間重新翻了一遍，把其中的要點記了下來，權當複習和備忘。由於自己對資料壓縮 全文檢索等還算比較熟，所以筆記內容主要涉及前5章內容，後面的零星記...
《大規模web服務開發技術》筆記
前段時間趁空把 大規模 web服務開發技術 這本書看完了，今天用一下午時間重新翻了一遍，把其中的要點記了下來，權當複習和備忘。由於自己對資料壓縮 全文檢索等還算比較熟，所以筆記內容主要涉及前5章內容，後面的零星記了一些。本文可能對如下人士比較有幫助 1 對這本書有興趣，但對內容存疑的 2 對大規模w...
大規模Web服務開發技術
大規模web服務開發技術 日 伊藤直也,田中慎司編著 李劍 譯 isbn 978 7 121 13884 3 2011年7月出版 定價 59.00元 16開 356頁 內 容 簡 介 hatena是日本最大的web 服務提供商之一，它提供的服務包括關鍵字 類似於維基百科 部落格 相簿等。本書的內容主...