大二層組網技術,你瞭解幾個?
1. 傳統STP技術應用分析
STP是IEEE 802.1D中定義的一個應用於乙太網交換機的標準,這個標準為交換機定義了一組規則用於探知鏈路層拓撲,並對交換機的鏈路層轉發行為進行控制。如果STP發現網路中存在環路,它會在環路上選擇一個恰當的位置阻塞鏈路上的埠——阻止埠轉發或接收乙太網幀,通過這種方式消除二層網路中可能產生的廣播風暴。
然而在實際部署中,為確保網路的高可用性,無論是資料中心網路還是園區網路,通常都會採用具有環路的物理拓撲,並採用STP阻塞部分埠的轉發。對於被阻塞埠,只有在處於轉發狀態的埠及鏈路發生故障時,才可能被STP加入到二層資料幀的轉發樹中。
STP的這種機制導致了二層鏈路利用率不足,尤其是在網路裝置具有全連線拓撲關係時,這種缺陷尤為突出。如圖1所示,當採用全網STP二層設計時,STP將阻塞大多數鏈路,使接入到匯聚間頻寬降至1/4,匯聚至核心間頻寬降至1/8。這種缺陷造成越接近樹根的交換機,埠擁塞越嚴重,造成的頻寬資源浪費就越嚴重。
可見,STP可以很好地支援傳統的小規模範圍的二層網路,但在一些規模部署虛擬化應用的資料中心內(或資料中心之間),會出現大範圍的二層網路,STP在這樣的網路中應用存在嚴重的不足。主要表現為以下問題(如圖2所示)。
(1) 低效路徑
- 流量繞行N-1跳
- 路由網路只需N/2跳甚至更短
(2) 頻寬利用率低
- 阻斷環路,中斷鏈路
- 大量頻寬閒置
- 流量容易擁塞
(3) 可靠性低
- 秒級故障切換
- 對裝置的消耗較大
(4) 維護難度大
- 鏈路引起拓撲變化複雜
- 容易引發廣播風暴
- 配置、管理難度隨著規模增加劇增
由於STP存在以上種種不足,其難以勝任大規模二層網路的管理控制。
2. IRF技術應用分析
H3C IRF(Intelligent Resilient Framework)是N:1網路虛擬化技術。IRF可將多臺網路裝置(成員裝置)虛擬化為一臺網路裝置(虛擬裝置),並將這些裝置作為單一裝置管理和使用。
IRF虛擬化技術不僅使多臺物理裝置簡化成一臺邏輯裝置,同時網路各層之間的多條鏈路連線也將變成兩臺邏輯裝置之間的直連,因此可以將多條物理鏈路進行跨裝置的鏈路聚合,從而變成了一條邏輯鏈路,增加頻寬的同時也避免了由多條物理鏈路引起的環路問題。如圖3所示,將接入、匯聚與核心交換機兩兩虛擬化,層與層之間採用跨裝置鏈路捆綁方式互聯,整網物理拓撲沒有變化,但邏輯拓撲上變成了樹狀結構,以太幀延拓撲樹轉發,不存在二層環路,且頻寬利用率最高。
簡單來說,利用IRF構建二層網路的好處包括:
- 簡化組網拓撲結構,簡化管理
- 減少了裝置數量,減少管理工作量
- 多臺裝置合併後可以有效的提高效能
- 多臺裝置之間可以實現無縫切換,有效提高網路HA效能
目前,IRF技術實現框式交換機堆疊的窬量最大為四臺,也就是說使用IRF構建二層網路時,匯聚交換機最多可達4臺。舉例來說,匯聚層部署16業務槽的框式交換機(4塊上行,12塊下行),配置業界最先進的48埠線速萬兆單板。考慮保證上下行1:4的收斂比,匯聚交換機下行的萬兆埠數量48*12=576。接入交換機部署4萬兆上行,48千兆下行的盒式交換機。4臺IRF後的匯聚交換機可以在二層無阻塞的前提下接入13824臺雙網絡卡的千兆伺服器,可滿足國內絕大部分客戶的二層組網需求。
少部分客戶期望其伺服器資源池可以有效擴充到2萬臺甚至更大。這樣,就需要其他技術提供更大的網路容量。
3. TRILL技術應用分析
採用TRILL技術構建的資料中心大二層網路如圖4所示,網路分為核心層(相當於傳統資料中心匯聚層)、接入層。接入層是TRILL網路與傳統乙太網的邊界;核心層RBridge不提供主機接入,只負責TRILL幀的高速轉發。每個接入層RBridge通過多個高速埠分別接入到多臺核心層RBridge上。
準確的說,TRILL最大可以支援16臺核心層RBridge。這樣也就對接入層交換機提出了更高的要求:支援16埠萬兆上行,160千兆下行。目前的主流千兆交換機都是4萬兆上行、48千兆下行。最高密度可以支援到10萬兆上行,96千兆下行。如果與前面IRF組網採用相同的匯聚(TRILL核心)裝置和收斂比,TRILL目前最大可以支援10核心組網,其最大能力可以無阻塞的接入27648臺雙網絡卡千兆伺服器。可以直觀的看到,隨著匯聚交換機數量的增加,二層網路伺服器的接入規模直線上升。
這是目前TRILL相對於IRF最明顯的優勢。 雖然TRILL成功擴充套件了虛擬機器資源池的規模,但是目前大規模的二層網路缺乏運維經驗,這意味著運維成本會大幅度提升,同時給業務系統帶來巨大的風險。同時,TRILL技術目前在晶片實現上存在客觀缺陷:核心層不能支援三層終結,也就是說TRILL的核心層不能做閘道器裝置。必須要在核心層上再增加一層裝置來做閘道器(如圖5所示)。這導致網路結構變得複雜,管理難度增加,網路建設、運維成本都會增加。
4. SPB技術應用分析
SPB的組網方案和TRILL基本相同(圖4所示)。同樣最大可以擴充套件16臺匯聚交換機增加二層網路接入規模;同樣對接入交換機的接入密度提出更高的要求;同樣存在閘道器與SPB核心必須分離的晶片缺陷(圖5所示),導致網路層次增加,管理、運維成本增加。 相對於TRILL,SPB最大的優勢在於能夠方便的支援VLAN擴充套件功能,正是這一點吸引了很多需要支援多租戶業務的運營商以及有規模運營需求的企業的關注。
5. EVI技術應用分析
由於大規模的二層網路缺乏成功的運維經驗,所以最合理的虛擬化網路應該是L3+L2網路模型。如前文所述,由於EVI特性可以通過匯聚層和核心層之間的IP網路實現二層互通,所以通過EVI擴充套件多個二層域的時候不需要更改佈線或是裝置,僅僅需要在匯聚裝置上啟用EVI特性即可。這樣可以平滑的擴充套件二層網路的規模。
目前L3路由+L2 IRF+EVI是最適合雲端計算虛擬化資料中心網路的模型。其主要的優點包括:
- 技術成熟,架構穩定
- 豐富的運維經驗,便於維護
- 平滑的擴容能力,能夠支援大規模二層網路
6. 技術應用對比
7. 結束語
虛擬化資料中心內通常採用伺服器二層接入方案,以實現靈活擴充套件資源池能力。隨著企業對計算資源靈活排程能力要求的不斷提升,必然將面臨大規模二層網路問題。本文列出五種不同實現技術,各有特點。技術沒有最好的,只有最適合的。希望通過本文的闡述與分析,給讀者一些幫助與啟發,以便未來實現資料中心大規模二層網路時選擇最適合的技術方案。
其他大二層組網技術簡介:
(1) Fabricpath
Fabricpath是由Cisco提出,和TRILL非常相似的一種技術。Fabricpath和TRILL對比來看,主要在於封裝更加精簡,支援多拓撲能力,在控制管理層面上精耕細作,成熟度要好一些。
(2) Qfabric
是Juniper提出的技術,將交換機的控制軟體拉到外部的伺服器上執行,整個網路採用集中控制集中管理的方式。缺點是:擴充套件性不好,部署案例少,成熟度待檢驗。
(3) VXLAN/NVGRE
業界最近出現了一種通過在vSwitch上支援L2oIP的技術,有VXlAN(Virtual eXtensible LAN)和NVGRE(Network Virtual GRE),前者是由VMware和思科提出的標準,使用了L2oUDP的封裝方式,支援16M的tenant ID;後者是由HP和微軟提出的標準,使用了L2oGRE封裝方式,也支援16M的tenant ID。這兩種技術的主要特點是隧道的起點和終點主要在vswitch上,而不是物理交換機上。隧道的封裝在伺服器內部的vswitch就已經打好,然後將物理網路當作大的IP背板加以穿透,大二層範圍可以跨DC。以期達到快速部署,靈活建立虛擬化網路的目的。