hdfs聯邦策略。檔案系統吞吐量不受單個namenode限制，向群集新增更多namenodes可擴充套件檔案系統的讀/寫吞吐量。
機架感知的放置策略的目的是提高資料可靠性，可用性和網路頻寬利用率。對於常見情況，當複製因子為3時，hdfs的放置策略是將乙個副本放在本地機架中的乙個節點上,另乙個放在本地機架中的不同節點上,而最後乙個放在另乙個機架中的不同節點上。該策略可以減少機架間寫入流量，這通常會提高寫入效能。
對於經常要訪問的資料，使用hdfs中的集中快取管理，建立堆外快取和快取記憶體池，這可以提高整體集群記憶體的利用率，防止同乙個塊的多個副本同時加入了緩衝區中快取。這是一種顯示快取機制，允許使用者指定要由hdfs快取的路徑。namenode將與磁碟上具有所需塊的datanode進行通訊，並指示他們將塊快取在堆外快取中。
配置hdfs本地短路讀取，在hdfs中，讀取通常通過datanode。因此，當客戶端要求datanode讀取檔案時，datanode將該檔案從磁碟讀取出來並通過tcp套接字將資料傳送到客戶端。所謂的「短路」讀取繞過datanode，允許客戶端直接讀取檔案。顯然，這只有在客戶與資料共存的情況下才有可能。短路讀取為許多應用提供了顯著的效能提公升。
為減少資料寫入hdfs的延遲，可以採取惰性持久寫入的方式，當datanode節點需要寫入資料到磁碟時，通過惰性持久寫入的方式，先寫入到堆外記憶體中，再進行資料校驗和非同步寫入磁碟。
1.hdfs ha高可用性配置和故障自動轉移。
2.hdfs快照。將損壞的hdfs例項回滾到先前已知的良好時間點。
效能優化學習筆記
js css鬆散耦合盡量避免直接用js操作樣式，改為控制類名 element.classname edit 解耦應用邏輯和事件處理程式 使用常量優化效能，提公升 維護性 避免全域性查詢 優化迴圈效能乙個基本的for迴圈 for let i 0 i values.length i 乙個減值操作的for...
Python效能分析與優化，GIL 學習筆記
cpython直譯器記憶體管理並不是是執行緒安全的 保護多執行緒情況下對python物件的訪問 cpython使用簡單的鎖機制避免了多個執行緒同時執行位元組碼同一時間只有乙個執行緒執行位元組碼 cpu密集程式 大量時間花在計算 難以利用多核優勢 io期間會釋放gil，對io密集程式 大量時間花在網路...
HDFS效能測試及優化部署
hadoop的儲存系統hdfs在大資料領域有著無可比擬的地位，本篇文章對hdfs的儲存效能做乙個相對詳細的測試，影響因素有哪些，來幫助我們優化部署應用程式和hadoop集群，最大化利用hadoop的吞吐能力。hdfs是hadoop分布式計算中的資料儲存系統 在hdfs中，檔案的讀寫過程就是clien...