資料中心網路架構三層分析
傳統的資料中心主要是依據功能進行區域劃分，例如 WEB 、APP、DB，辦公區、業務區、內聯區、 外聯區等等。 不同區域之間通過閘道器和安全裝置互訪， 保證不同區域的可靠性、安全性。同時， 不同區域由於具有不同的功能，因此需要相互訪問資料時， 只要終端之間能夠通訊即可，並不一定要求通訊雙方處於同一VLAN或二層網路。
傳統的資料中心網路技術，STP 是二層網路中非常重要的一種協議。 使用者構建網路時，為了保證可靠性，通常會採用冗餘裝置和冗餘鏈路， 這樣就不可避免的形成環路。而二層網路處於同一個廣播域下， 廣播報文在環路中會反覆持續傳送， 形成廣播風暴， 瞬間即可導致埠阻塞和裝置癱瘓。因此，為了防止廣播風暴，就必須防止形成環路。這樣，既要防止形成環路，又要保證可靠性， 就只能將冗餘裝置和冗餘鏈路變成備份裝置和備份鏈路。 即冗餘的裝置埠和鏈路在正常情況下被阻塞掉，不參與資料報文的轉發。只有當前轉發的裝置、埠、 鏈路出現故障，導致網路不通的時候， 冗餘的裝置埠和鏈路才會被開啟， 使得網路能夠恢復正常。實現這些自動控制功能的就是 STP(Spanning Tree Protocol ，生成樹協議 )。
由於 STP 的收斂效能等原因， 一般情況下 STP 的網路規模不會超過 100臺交換機。 同時由於 STP 需要阻塞掉冗餘裝置和鏈路，也降低了網路資源的頻寬利用率。因此在實際網路規劃時，從轉發效能、利用率、可靠性等方面考慮，會盡可能控制 STP 網路範圍。
大二層也是為了流通的要求
隨著資料大集中的發展和虛擬化技術的應用， 資料中心的規模與日俱增， 不僅對二層網路的區域範圍要求也越來越大，在需求和管理水平上也提出了新的挑戰。
資料中心區域規模和業務處理需求的增加， 對於叢集處理的應用越來越多， 叢集內的伺服器需要在一個二層 VLAN下。同時，虛擬化技術的應用，在帶來業務部署的便利性和靈活性基礎上， 虛擬機器的遷移問題也成為必須要考慮的問題。 為了保證虛擬機器承載業務的連續性，虛擬機器遷移前後的 IP 地址不變，因此虛擬機器的遷移範圍需要在同一個二層 VLAN 下。
反過來即，二層網路規模有多大，虛擬機器才能遷移有多遠。
傳統的基於 STP 備份裝置和鏈路方案已經不能滿足資料中心規模、頻寬的需求，並且STP 協議幾秒至幾分鐘的故障收斂時間， 也不能滿足資料中心的可靠性要求。 因此， 需要能夠有新的技術， 在滿足二層網路規模的同時， 也能夠充分利用冗餘裝置和鏈路， 提升鏈路利用率，而且資料中心的故障收斂時間能夠降低到亞秒甚至毫秒級。
大二層需要有多大
既然二層網路規模需要擴大，那麼大到什麼程度合適 ?這取決於應用場景和技術選擇。
1、資料中心內
大二層首先需要解決的是資料中心內部的網路擴充套件問題，通過大規模二層網路和 VLAN延伸，實現虛擬機器在資料中心內部的大範圍遷移。 由於資料中心內的大二層網路都要覆蓋多個接入交換機和核心交換機，主要有以下兩類技術。
虛擬交換機技術
虛擬交換機技術的出發點很簡單， 屬於工程派。 既然二層網路的核心是環路問題， 而環路問題是隨著冗餘裝置和鏈路產生的， 那麼如果將相互冗餘的兩臺或多臺裝置、兩條或多條鏈路合併成一臺裝置和一條鏈路， 就可以回到之前的單裝置、 單鏈路情況， 環路自然也就不存在了。 尤其是交換機技術的發展， 虛擬交換機從低端盒式裝置到高階框式裝置都已經廣泛應用， 具備了相當的成熟度和穩定度。 因此， 虛擬交換機技術成為目前應用最廣的大二層解決方案。
虛擬交換機技術的代表是H3C公司的IRF、Cisco公司的VSS，其特點是隻需要交換機軟體升級即可支援，應用成本低，部署簡單。目前這些技術都是各廠商獨立實現和完成的，只能同一廠商的相同系列產品之間才能實施虛擬化。 同時， 由於高階框式交換機的效能、密度越來越高， 對虛擬交換機的技術要求也越來越高， 目前框式交換機的虛擬化密度最高為 4：1.虛擬交換機的密度限制了二層網路的規模大約在 1萬～ 2萬臺伺服器左右。
隧道技術
隧道技術屬於技術派，出發點是借船出海。二層網路不能有環路，冗餘鏈路必須要阻塞掉，但三層網路顯然不存在這個問題，而且還可以做 ECMP( 等價鏈路 )，能否借用過來呢 ?
通過在二層報文前插入額外的幀頭， 並且採用路由計算的方式控制整網資料的轉發， 不僅可以在冗餘鏈路下防止廣播風暴，而且可以做 ECMP.這樣可以將二層網路的規模擴充套件到整張網路，而不會受核心交換機數量的限制。
隧道技術的代表是 TRILL 、 SPB，都是通過借用 IS-IS 路由協議的計算和轉發模式，實現二層網路的大規模擴充套件。 這些技術的特點是可以構建比虛擬交換機技術更大的超大規模二層網路 (應用於大規模叢集計算 )，但尚未完全成熟，目前正在標準化過程中。同時傳統交換機不僅需要軟體升級，還需要硬體支援。
2、跨資料中心
隨著資料中心多中心的部署， 虛擬機器的跨資料中心遷移、 災備， 跨資料中心業務負載分擔等需求， 使得二層網路的擴充套件不僅是在資料中心的邊界為止， 還需要考慮跨越資料中心機房的區域，延伸到同城備份中心、遠端災備中心。
一般情況下， 多資料中心之間的連線是通過路由連通的， 天然是一個三層網路。 而要實現通過三層網路連線的兩個二層網路互通，就必須實現“ L2 over L3 ”。
L2oL3 技術也有許多種， 例如傳統的 VPLS(MPLS L2VPN) 技術，以及新興的 Cisco OTV 、H3C EVI 技術，都是藉助隧道的方式，將二層資料報文封裝在三層報文中，跨越中間的三層網路，實現兩地二層資料的互通。這種隧道就像一個虛擬的橋，將多個數據中心的二層網路貫穿在一起。
另外，也有部分虛擬化和軟體廠商提出了軟體的 L2 over L3 技術解決方案。 例如 VMware的VXLAN 、微軟的NVGRE，在虛擬化層的 vSwitch 中將二層資料封裝在 UDP 、GRE報文中，在物理網路拓撲上構建一層虛擬化網路層，從而擺脫對網路裝置層的二層、三層限制。
這些技術由於效能、擴充套件性等問題，也沒有得到廣泛的使用。
資料中心之間的互聯方式
網路三層互聯。 也稱為資料中心前端網路互聯， 所謂 "前端網路 "是指資料中心面向企業園區網或企業廣域網的出口。不同資料中心 (主中心、災備中心 )的前端網路通過 IP 技術實現互聯， 園區或分支的客戶端通過前端網路訪問各資料中心。 當主資料中心發生災難時， 前端網路將實現快速收斂，客戶端通過訪問災備中心以保障業務連續性 ;
網路二層互聯。也稱為資料中心伺服器網路互聯。在不同的資料中心伺服器網路接入層，構建一個跨資料中心的大二層網(VLAN) ，以滿足伺服器叢集或虛擬機器動態遷移等場景對二層網路接入的需求 ;
SAN 互聯。
也稱為後端儲存網路互聯。藉助傳輸技術 (DWDM 、 SDH 等 )實現主中心和災備中心間磁碟陣列的資料複製。
資料中心二層互聯的業務需求
伺服器高可用叢集
伺服器叢集 (Cluster) ，是藉助叢集軟體將網路上的多臺伺服器關聯在一起，提供一致的服務，對外表現為一臺邏輯伺服器。多數廠商 (HP、IBM 、微軟、 Veritas 等 )的叢集軟體需要各伺服器間採用二層網路互聯。 將叢集中的伺服器部署於不同資料中心， 可實現跨資料中心的應用系統容災。
伺服器搬遷和虛擬機器動態遷移
資料中心進行擴建或搬遷時，需要將物理伺服器從一個數據中心遷至另一個數據中心。
在此過程中，考慮以下兩個因素，需要在資料中心間構建二層網際網路絡：
當伺服器被遷至新機房， 如未構建新老中心間的二層網際網路絡，則面臨重新規劃新中心伺服器 IP 地址的問題，同時還需修改DNS ，或修改客戶端應用程式配置的伺服器 IP.因此，構建跨中心的二層網際網路絡可保留被遷移伺服器的 IP 地址，進而簡化遷移過程 ;
在伺服器搬遷期間， 經常在給定的時間內， 只能將伺服器群的一部分伺服器遷至新中心，為保證業務連續性， 需建立跨中心的伺服器叢集， 構建跨越中心的二層網際網路絡可實現伺服器平滑遷移。
與伺服器搬遷類似的情況是 "虛擬機器遷移 ".當前，一些伺服器虛擬化軟體可實現在兩臺虛擬化的物理伺服器之間對虛擬機器做動態遷移。遷移至另一中心的虛擬機器不僅保留原有 IP地址，而且還保持遷移前的執行狀態 (如 TCP 會話狀態 )，所以必須將涉及虛擬機器遷移的物理伺服器接入同一個二層網路 (虛擬機器在遷移前後的閘道器不變 )，這種應用場景要求構建跨中心的二層網際網路絡。
資料中心二層互聯設計要點
1、前提要素——現網狀態
選擇資料中心二層互聯方案的前提要素是明確使用者在多個數據中心之間具有哪些網路資源。網路資源的不同直接決定了使用者將採用何種組網方案：
運營商、大型網際網路企業：裸光纖或 DWDM 傳輸資源，對應 RRPP 環網方案或HUB-SPOKE 方案 ;
運營商、大企業、金融、政府機構： MPLS 網路，對應 VPLS 組網方案 ;
中小企業客戶： IP 網路，對應 VPLSoverGRE 組網方案
2.核心要素——效能
時延
資料中心之間二層互聯是為了實現虛擬機器的異地排程和叢集異地應用，為了實現這一點，必須滿足虛擬機器 VMotion 和叢集儲存異地訪問的時延要求。第一個限制是 VMotion 同步會話距離。第二個要求是儲存網路。 DC 之間的儲存必須實現同步訪問或是映象訪問。
需要注意的是，在 VPLS 或是 IP 網路環境中，由於網路中存在大量複雜的應用，所以必須通過部署全網 QoS 來保證 DCI 互聯資料流的服務質量。流量環境越複雜，則 QoS 配置工作量越大，時延指標越難以滿足。 VPLS 網路通常應用於企業或是行業的專用業務，流量環境相對於 IP 網路較簡單，所以在部署 QoS 方面有一定優勢。
頻寬
資料中心互聯的核心需求之一就是保證虛擬機器跨 DC 的遷移。 vSphere5.0之前的版本，VMotion 對於遷移鏈路的頻寬有明確的要求 -頻寬不小於 622M;vSphere5.0 的版本， VMotion對於遷移鏈路的頻寬不小於 250M.
從頻寬資源的分配情況來看，裸光纖或DWDM 的頻寬資源最為充足，VPLS 和 IP 網路的頻寬資源相對緊張，必須部署全網端到端的 QoS 優先順序來保證 DCI 業務流量的頻寬要求。
3、關鍵要素—— HA
資料中心二層互聯的關鍵因素就是如何提高可用性。 提高 HA 的一個最有效的方式就是設計備份鏈路、 備份節點。 如果結合提高互聯頻寬的需求， 則建議設計負載分擔的互聯路徑，在提高互聯頻寬的同時，也能夠保證系統異常時能夠實現業務的快速收斂，提高 HA 指標。
以 DWDM 網路為例，建議利用 IRF 實現 DCI 鏈路的高 HA 和鏈路負載分擔設計方案。
在裸光纖或是 DWDM 互聯組網方案中，DCI互聯的兩端PE裝置必須支援 IRF，將PE之間的兩條 (或多條 )鏈路通過聚合(LACP) 技術形成一條邏輯鏈路，會極大的簡化 DCI 的組網拓撲。同時，這兩條 HA 鏈路的頻寬會得到 100%的利用，達到 1： 1的負載分擔效果。
資料中心二層互聯方案設計
1、基於裸光纖或 DWDM 線路的二層互聯
裸光纖或 DWDM 二層互聯方案需要使用者在現網中擁有光纖或傳輸資源， 對使用者要求較高，但從使用的角度來看，裸光纖或 DWDM 方案的效能是最優的。
基於裸光纖或 DWDM 線路的二層互聯方案有兩種選擇：HUB-SPOKE 方案和 RRPP環網方案。前者的優點是基於最短路徑轉發，所以轉發效率高 ;後者的優點則是環網天然的轉發路徑冗餘設計，所以HA效能較高。
Hub-Spoke 組網方案
通過裸光纖或是 DWDM 將多個 (例如 4個 )資料中心互聯。 為了方便擴充套件更多的資料中心節點，一個最常用的方案就是採用 HUB-SPOKE 組網模型，即通過一個核心節點與各資料中心的匯聚層互聯。在邏輯結構上，多箇中心與核心節點構成了一個 Hub-Spoke 的星形拓撲，其中核心節點為 HUB ，各中心匯聚層為 Spoke.
在 Hub-Spoke 組網環境中，核心節點是最重要的，關係到全網是否能正常運轉，是保證多資料中心 HA 的關鍵因素。如何提高核心節點的HA效能 ?一個最重要的設計理念就是在核心節點應用 IRF 技術，將兩臺裝置通過 IRF 技術形成一臺裝置，將核心裝置故障異常的收斂時間從幾十秒降低到毫秒級， 也就是說可以將系統的 HA 效能提高將近兩個量級。 這一點對於 Hub-Spoke 組網方案是非常重要的。