1.組網配置
建議的cloudera組網配置如下圖，主要包含資料網路和管理網路。
2.資料網路
資料網路是用於資料訪問的節點之間的私有集群資料互連，比如在集群內的節點之間移動資料，或者將資料匯入到cdh集群。cdh集群通常會連線到企業內部的資料網路。
需要2個tor交換機：乙個是用作帶外管理，乙個是用於cdh的資料網路。節點的帶外管理至少需要乙個1gbe交換機。資料網路的交換機一般為10gbe，具體取決於工作負載。
推薦的1gbe交換機是lenovo rackswitch g8052。10gb乙太網交換機可以提供額外的i/o頻寬，以獲得更好的效能。推薦的10gbe交換機是lenovo system networkingrackswitch 8272。
每個節點的兩個broadcom 10gbe埠可以繫結後連線到g8272交換機，從而提高效能或配置ha。資料網路可以配置為使用vlan。
注：無論是工作節點還是管理節點，cloudera都不支援multi-homing。
3.硬體管理網路
硬體管理網路是用於帶外硬體管理的1 gbe網路。通過system x3650 m5伺服器中的整合管理模組ii（imm2），帶外管理可實現集群節點的硬體級管理，如節點部署，基本輸入/輸出系統（bios）配置，狀態和電源狀態。
hadoop不依賴於imm2。根據客戶要求，管理鏈結可以分隔到不同的vlan或子網上。 管理網路通常直接連線到客戶的管理網路。
參考架構需要乙個1 gb乙太網tor交換機用於硬體管理網路。管理員還可以通過客戶管理網路訪問集群中的所有節點，在第一章的圖中，管理鏈路連線到整合的1 gbaset介面卡上的專用imm2埠。
4.多機架的網路
以上談到的資料網路的參考架構配置是由單個網路拓撲構成的。如果是多機架的架構，還需要乙個聯想rackswitch g8316核心交換機。 在這種情況下，第二個broadcom10 gbe埠可以連線到第二個lenovo rackswitch g8272。g8272的過載率（over-subscription ratio）是1：2.
下圖展示了當cdh集群安裝在多個機架上時，如何配置網路。每個機架的g8272交換機通過兩個聚合的40 gbe上行鏈路連線到核心g8316交換機。
跨機架的交換機推薦40gbe的，可以用lenovo system networkingrackswitch g8316。最佳實踐是為每個機架安裝冗餘的核心交換機，以避免單點故障。在每個機架內，g8052交換機可以選擇配置為具有兩個g8272交換機的上行鏈路，以允許通過g8316核心交換機在集群機架之間傳播管理vlan。對於大型集群，推薦使用lenovo system networkingrackswitch g8332，因為每個40 gb的埠的**比g8316要更低。可以配置成許多機架能互相訪問網路，但可能需要做一些特定的部署配置來滿足超過3個機架的快速定址。
如果開始規劃的就是多機架的解決方案，或者隨著系統的擴容後面慢慢的加入了一些機架，cdh管理服務相關的節點我們建議分開部署在不同的機架從而最大化容錯。
5.cdh其他網路要求
hadoop網路要求：
1.所有的hadoop伺服器節點應該是獨有的網路，而不存在跟其他應用程式的節點共享網路i/o的情況。
2.每個伺服器應該都配置靜態ip。如果配置了動態ip，在機器重啟或者dns租約過期時，機器的ip位址會改變，這將導致hadoop服務故障。
3.專用tor交換機。
4.專用的核心交換刀片或者核心交換機。
5.盡量保證應用伺服器與hadoop「近」一些。
6.cdh只支援ipv4，不支援ipv6
7.機架之間的網路連線速度應該足夠快。
8.確保網路介面對於集群中的所有節點應該是一致的。（比如mtu設定應該一樣）
9.關閉所有節點的huge page compaction
10.確保集群中的所有網路連線都會被監控，比如衝突和丟包問題。以方便後期進行排障。
神經網路基礎 為什麼要深層的網路
有人做了這樣乙個對比 在相同參數量的情況下，神經網路層數對最後模型結果的影響。最後得出的結論為是 神經網路 tall thin 的模型效果要好於fat short 的效果。為什麼會出現這樣的情況呢？其實神經網路在設計過程中，其實是乙個模組化的過程。設想這樣乙個場景 現在需要做影象分類，標籤為4類 長...
分析網路連通問題要分清協議層次
以下交換機都是指的純二層交換機。1.同乙個vlan內的兩個機器，如果其ip不在乙個網段，那麼能相互連通嗎？答案是，二層是連通的，三層則不通。具體表現就是通過netbui可以看到對方，但是卻不能ping通對方。因為不在乙個ip網段，所以ping的時候資料報會傳送到閘道器而不是根據arp表直接傳送到對方...
神經網路為什麼要進行batch norm？
通常我們在使用資料之前，會對輸入資料做了標準化處理 處理後的任意乙個特徵在資料集中所有樣本上的均值為 0 標準差為 1。標準化處理輸入資料使各個特徵的分布相近 這往往更容易訓練出有效的模型。why?我也不知道 通常來說，資料標準化預處理對於淺層模型就足夠有效了。隨著模型訓練的進行，當每層中引數更新時...