實際上，大資料的應用程式需要處理大量資訊，並且在出自彈性的考慮將資料拷貝到多個部位時，資訊的規模變得越來越大。可是，大資料的最關鍵屬性並非在於它的規模，而在於它將大作業切分成很多小作業的能力，它才能將解決一兩個任務的資源細化到好幾個位置變成並行處理。
在將大規模和分布式架構組合合為一體時，人們就能發覺大資料網路有一組獨特的需求。下邊是需要考量的五個層面：
在人們考慮大資料時，人們留意到了「大」這乙個字，可是在投建基礎架構時，人們還應當留意「分布式」。
實際上，大資料的應用程式需要處理大量資訊，並且在出自彈性的考慮將資料拷貝到多個部位時，資訊的規模變得越來越大。可是，大資料的最關鍵屬性並非在於它的規模，而在於它將大作業切分成很多小作業的能力，它才能將解決一兩個任務的資源細化到好幾個位置變成並行處理。
在將大規模和分布式架構組合合為一體時，人們就能發覺大資料網路有一組獨特的需求。下邊是需要考量的五個層面：
1.網路彈性與大資料的應用程式
假如有一組分布式資源必需通過網際網路絡開展協調時，可用性就顯得尤為重要。假如網際網路出現故障，那樣導致的不良影響是出現不持續的壞計算資源與資料集。
精確地說，大部分網路結構和工程師的首要側重點是正常運作時間。可是，網路問題時間的根本原因又不盡相同。他們或者**於於各個領域，包含機械故障(硬體與軟體)、維繫和人為錯誤。故障是無法避免的。儘管網路的高度可用性也很關鍵，可是想要設計極致可用性是不可能的。
網路架構師不能用故障來躲避目的，而應當設計某些能適應故障的彈性網路。網路的彈性在於路徑多樣性(資源之間設定多條路徑)和故障轉移(可以迅速察覺問題和遷移到其他路徑上)。除開傳統的平均故障時間間隔(mtbf)方法，大資料網路的真正設計標準必須要包括這些效能。
2.處理大資料的應用中的網路擁塞問題
大資料的應用程式不但是規模大，並且也有一種我稱之為突發性的特性。當乙個作業啟動之後，資料就開始調撥。在高流量時間段裡，擁塞是乙個嚴重的問題。殊不知，擁塞將會造成更多的佇列時間延遲和丟包率。除此之外，擁塞還將會觸發重轉，這可能讓實際上負荷艱鉅的網際網路沒法承受。因而，網路架構設計時應當盡可能減少擁塞點。按照可用性的設計標準，降低擁塞要求網路具有較高的路徑多樣性，這樣才能容許網路將流量分離到很多不一的路徑上。
3.大資料中網路一致性要比遲延性更關鍵
事實上，大部分大資料應用程式對網路延遲不太敏感。假如計算時間的數量級為幾秒鐘或幾分鐘，那樣即便網路上出現較大延時也是無所謂的——數量級大約為幾千毫秒。殊不知，大資料應用程式通常具備較高的同步性。這代表著作業是並行執行的，而各個作業之間較大的效能差異或者會引起程式執行的故障。為此，網路不但要足夠高效，並且要在時間與空間上具備相同的效能。
4.目前就要準備大資料將來的可伸縮性
或者令人有點意外的是，大部分大資料集群事實上並不大。或者說，即便每台伺服器配置雙向冗餘，適用全部集群也只需要四個接入交換機(假定是分別有72個10gbe瀏覽埠的broadcom交換機)。
可伸縮性並非在於現如今集群目前有多規模性，而是說怎樣均衡地拓展支援將來的部署規模。假如基礎架構設計目前只合適小規模部署，那樣這個架構將怎樣隨之節點數目的增多而持續進化?在未來某乙個時刻，它是不是需要完全重新設計架構?這個架構是不是必須某些短程資料和資料位置資訊?重要是要記住，可伸縮性並非取決於絕對規模，而是更關注於實現足夠規模解決方案的路徑。
5.利用網路分割來處理大資料
網路分割是建立大資料環境的關鍵條件。在非常簡單的形式上，分割將會暗示著要將大資料流量與其餘網路流量分離，這樣應用程式形成的突發流量才不易影響別的核心任務工作負荷。此外，人們還需要解決執行多個作業的多個租戶，以考慮效能、合規性和/或審計的需求。這些工作要求在一些場合中實現網路負荷的邏輯分離，某些場所則還要實現它們的物理分離。架構師必須同時在兩個層面上開展規劃，可是原始需求最好統一在一起。
Python 這10個字典操作你必須知道
嗯，乾貨必須收藏 使用in關鍵字判斷key是否存在字典中 d key gender if key in d pass不要使用key in d.keys 這是一種畫蛇添足的操作，因為d.keys 會返回乙個新的列表物件，導致記憶體最大。x y 返回新的字典物件，x和y都不會改變，這是使用了pep448...
python合併2個字典
2種方式，update 和items 方式 in 14 a out 14 in 15 c in 16 a.update c in 17 a out 17 in 18 a in 19 a out 19 in 20 c out 20 in 21 a.items c.items out 21 a 1 d ...
你得小心BYOD這10個陷阱！
byod使員工可以在工作中使用他們自己個人的手機和膝上型電腦 這已經很快得到人們的接受。下面就是當你考慮如何實現自己的byod計畫時應該避免的10個錯誤。1 抵制byod 在乙個byod錯誤的榜單中這一點似乎是顯而易見的，但是抵制byod正在成為乙個越來越站不住腳的策略。隨著計算裝置變得越來越個性化...