今天這篇部落格的主題為lvs和nginx實現負載均衡功能的比較,我將從負載均衡的基本概念、大資料高併發環境下使用負載均衡策略的必要性、負載均衡的實現方式、lvs和nginx的概念、起源、作者等,以及兩者實現負載均衡方式上的區別來簡單描述一下。
負載均衡建立在現有網路結構之上,它提供了一種廉價有效透明的方法擴充套件網路裝置和伺服器的頻寬、增加吞吐量、加強網路資料處理能力、提高網路的靈活性和可用性。
負載均衡(load balance)其意思就是分攤到多個操作單元上進行執行,例如web伺服器、ftp伺服器、企業關鍵應用伺服器和其它關鍵任務伺服器等,從而共同完成工作任務。
大資料高併發的瓶頸一般都是資料庫層面的,如果不適用負載均衡策略,機械硬碟承載不起非常快速的讀寫操作,cpu承載不起大量的邏輯運算。
任何的負載均衡技術都要想辦法建立某種一對多的對映機制:乙個請求的入口對映到多個處理請求的節點,從而實現分而治之(divide and conquer)。
這種對映機制使得多個物理存在對外體現為乙個虛擬的整體,對服務的請求者遮蔽了內部的結構。
採用不同的機制建立對映關係,可以形成不同的負載均衡技術,常見的包括:
dns輪詢
cdnip負載均衡
dns輪詢是最簡單的負載均衡方式。以網域名稱作為訪問入口,通過配置多條dns a記錄使得請求可以分配到不同的伺服器。
dns輪詢沒有快速的健康檢查機制,而且只支援wrr的排程策略導致負載很難「均衡」,通常用於要求不高的場景。並且dns輪詢方式直接將伺服器的真實位址暴露給使用者,不利於伺服器安全。
cdn(content delivery network,內容分發網路)。通過發布機制將內容同步到大量的快取節點,並在dns伺服器上進行擴充套件,找到裡使用者最近的快取節點作為服務提供節點。
因為很難自建大量的快取節點,所以通常使用cdn運營商的服務。目前國內的服務商很少,而且按流量計費,**也比較昂貴。
ip負載均衡可以使用硬體裝置,也可以使用軟體實現。硬體裝置的主要產品是f5-big-ip-gtm(簡稱f5),軟體產品主要有lvs、haproxy、nginx。其中lvs、haproxy可以工作在4-7層,nginx工作在7層。關於三者的簡單對比,可以參考這裡。
硬體負載均衡裝置可以將核心部分做成晶元,效能和穩定性更好,而且商用產品的可管理性、文件和服務都比較好。唯一的問題就是**。
軟體負載均衡通常是開源軟體。自由度較高,但學習成本和管理成本會比較大。
lvs(linux virtual server, linux虛擬伺服器),是章文嵩博士開發的開放軟體,目前已經整合到linux核心中。
基於不同的網路技術,lvs支援多種負載均衡機制。包括:vs/nat(基於網路位址轉換技術)、vs/tun(基於ip隧道技術)和vs/dr(基於直接路由技術)。
此外,為了適應不同的需要,**開發了vs/fullnat,從本質上來說也是基於網路位址轉換技術。最近還有乙個基於vs/fullnat的dnat模組。
不管使用哪種機制,lvs都不直接處理請求,而是將請求**到後面真正的伺服器(real server)。不同的機制,決定了響應包如何返回到客戶端。
lvs和nginx都可以用作多機負載的方案,它們各有優缺,在生產環境中需要好好分析實際情況並加以利用。
首先提醒,做技術切不可人云亦云,我雲即你雲;同時也不可太趨向保守,過於相信舊有方式而等別人來幫你做墊被測試。把所有即時聽說到的好東西加以鑽研,從而提高自己對技術的認知和水平,乃是乙個好習慣。
下面來分析一下兩者:
一、lvs的優勢:
1、抗負載能力強,因為lvs工作方式的邏輯是非常之簡單,而且工作在網路4層僅做請求分發之用,沒有流量,所以在效率上基本不需要太過考慮。在我手裡的lvs,僅僅出過一次問題:在併發最高的一小段時間內均衡器出現丟包現象,據分析為網路問題,即網絡卡或linux2.4核心的承載能力已到上限,記憶體和cpu方面基本無消耗。
2、配置性低,這通常是一大劣勢,但同時也是一大優勢,因為沒有太多可配置的選項,所以除了增減伺服器,並不需要經常去觸碰它,大大減少了人為出錯的機率。
3、工作穩定,因為其本身抗負載能力很強,所以穩定性高也是順理成章,另外各種lvs都有完整的雙機熱備方案,所以一點不用擔心均衡器本身會出什麼問題,節點出現故障的話,lvs會自動判別,所以系統整體是非常穩定的。
4、無流量,上面已經有所提及了。lvs僅僅分發請求,而流量並不從它本身出去,所以可以利用它這點來做一些線路分流之用。沒有流量同時也保住了均衡器的io效能不會受到大流量的影響。
5、基本上能支援所有應用,因為lvs工作在4層,所以它可以對幾乎所有應用做負載均衡,包括http、資料庫、聊天室等等。
另:lvs也不是完全能判別節點故障的,譬如在wlc分配方式下,集群裡有乙個節點沒有配置vip,會使整個集群不能使用,這時使用wrr分配方式則會丟掉一台機。目前這個問題還在進一步測試中。所以,用lvs也得多多當心為妙。
二、nginx和lvs作對比的結果
1、nginx工作在網路的7層,所以它可以針對http應用本身來做分流策略,比如針對網域名稱、目錄結構等,相比之下lvs並不具備這樣的功能,所以nginx單憑這點可利用的場合就遠多於lvs了;但nginx有用的這些功能使其可調整度要高於lvs,所以經常要去觸碰觸碰,由lvs的第2條優點看,觸碰多了,人為出問題的機率也就會大。
2、nginx對網路的依賴較小,理論上只要ping得通,網頁訪問正常,nginx就能連得通,nginx同時還能區分內外網,如果是同時擁有內外網的節點,就相當於單機擁有了備份線路;lvs就比較依賴於網路環境,目前來看伺服器在同一網段內並且lvs使用direct方式分流,效果較能得到保證。另外注意,lvs需要向託管商至少申請多乙個ip來做visual ip,貌似是不能用本身的ip來做vip的。要做好lvs管理員,確實得跟進學習很多有關網路通訊方面的知識,就不再是乙個http那麼簡單了。
3、nginx安裝和配置比較簡單,測試起來也很方便,因為它基本能把錯誤用日誌列印出來。lvs的安裝和配置、測試就要花比較長的時間了,因為同上所述,lvs對網路依賴比較大,很多時候不能配置成功都是因為網路問題而不是配置問題,出了問題要解決也相應的會麻煩得多。
4、nginx也同樣能承受很高負載且穩定,但負載度和穩定度差lvs還有幾個等級:nginx處理所有流量所以受限於機器io和配置;本身的bug也還是難以避免的;nginx沒有現成的雙機熱備方案,所以跑在單機上還是風險較大,單機上的事情全都很難說。
5、nginx可以檢測到伺服器內部的故障,比如根據伺服器處理網頁返回的狀態碼、超時等等,並且會把返回錯誤的請求重新提交到另乙個節點。目前lvs中ldirectd也能支援針對伺服器內部的情況來監控,但lvs的原理使其不能重發請求。重發請求這點,譬如使用者正在上傳乙個檔案,而處理該上傳的節點剛好在上傳過程**現故障,nginx會把上傳切到另一台伺服器重新處理,而lvs就直接斷掉了,如果是上傳乙個很大的檔案或者很重要的檔案的話,使用者可能會因此而惱火。
6、nginx對請求的非同步處理可以幫助節點伺服器減輕負載,假如使用apache直接對外服務,那麼出現很多的窄帶鏈結時apache伺服器將會占用大量記憶體而不能釋放,使用多乙個nginx做apache**的話,這些窄帶鏈結會被nginx擋住,apache上就不會堆積過多的請求,這樣就減少了相當多的記憶體占用。這點使用squid也有相同的作用,即使squid本身配置為不快取,對apache還是有很大幫助的。lvs沒有這些功能,也就無法能比較。
7、nginx能支援http和email(email的功能估計比較少人用),lvs所支援的應用在這點上會比nginx更多。
在使用上,一般最前端所採取的策略應是lvs,也就是dns的指向應為lvs均衡器,lvs的優點令它非常適合做這個任務。
重要的ip位址,最好交由lvs託管,比如資料庫的ip、webservice伺服器的ip等等,這些ip位址隨著時間推移,使用面會越來越大,如果更換ip則故障會接踵而至。所以將這些重要ip交給lvs託管是最為穩妥的,這樣做的唯一缺點是需要的vip數量會比較多。
nginx可作為lvs節點機器使用,一是可以利用nginx的功能,二是可以利用nginx的效能。當然這一層面也可以直接使用squid,squid的功能方面就比nginx弱不少了,效能上也有所遜色於nginx。
nginx也可作為中層**使用,這一層面nginx基本上無對手,唯一可以撼動nginx的就只有lighttpd了,不過lighttpd目前還沒有能做到nginx完全的功能,配置也不那麼清晰易讀。另外,中層**的ip也是重要的,所以中層**也擁有乙個vip和lvs是最完美的方案了。
nginx也可作為網頁靜態伺服器,不過超出了本文討論的範疇,簡單提一下。
具體的應用還得具體分析,如果是比較小的**(日pv<1000萬),用nginx就完全可以了,如果機器也不少,可以用dns輪詢,lvs所耗費的機器還是比較多的;大型**或者重要的服務,機器不發愁的時候,要多多考慮利用lvs。
nginx負載均衡和lvs負載均衡的比較分析
2010 04 13 11 11 16 lvs和nginx都可以用作多機負載的方案,它們各有優缺,在生產環境中需要好好分析實際情況並加以利用。首先提醒,做技術切不可人云亦云,我雲即你雲 同時也不可太趨向保守,過於相信舊有方式而等別人來幫你做墊被測試。把所有即時聽說到的好東西加以鑽研,從 而提高自己對...
Nginx負載均衡和LVS負載均衡的比較分析
nginx負載均衡和lvs負載均衡的比較分析 lvs和nginx都可以用作多機負載的方案,它們各有優缺,在生產環境中需要好好分析實際情況並加以利用。首先提醒,做技術切不可人云亦云,我雲即你雲 同時也不可太趨向保守,過於相信舊有方式而等別人來幫你做墊被測試。把所有即時聽說到的好東西加以鑽研,從而提高自...
nginx負載均衡和lvs負載均衡的比較分析
lvs和nginx都可以用作多機負載的方案,它們各有優缺,在生產環境中需要好好分析實際情況並加以利用。首先提醒,做技術切不可人云亦云,我雲即你雲 同時也不可太趨向保守,過於相信舊有方式而等別人來幫你做墊被測試。把所有即時聽說到的好東西加以鑽研,從而提高自己對技術的認知和水平,乃是乙個好習慣。下面來分...