Linux 虛擬網路裝置詳解之 Bridge 網橋
本文首發於我的公眾號 CloudDeveloper(ID: cloud_dev) ,專注於乾貨分享,號內有大量書籍和視訊資源,後臺回覆 「1024」 即可領取,歡迎大家關注,二維碼文末可以掃。
前面幾篇文章介紹了 tap/tun、veth-pair,今天這篇來看看 Bridge。
Bridge 是什麼
同 tap/tun、veth-pair 一樣,Bridge 也是一種虛擬網路裝置,所以具備虛擬網路裝置的所有特性,比如可以配置 IP、MAC 等。
除此之外,Bridge 還是一個交換機,具有交換機所有的功能。
對於普通的網路裝置,就像一個管道,只有兩端,資料從一端進,從另一端出。而 Bridge 有多個埠,資料可以從多個埠進,從多個端口出。
Bridge 的這個特性讓它可以接入其他的網路裝置,比如物理裝置、虛擬裝置、VLAN 裝置等。Bridge 通常充當主裝置,其他裝置為從裝置,這樣的效果就等同於物理交換機的埠連線了一根網線。比如下面這幅圖通過 Bridge 連線兩個 VM 的 tap 虛擬網絡卡和物理網絡卡 eth0。
VM 同主機通訊
以這個圖來簡單說明下,藉助 Bridge 來完成同主機兩臺 VM 的之間的通訊流程。
首先準備一個 centos 或 ubuntu 虛擬機器,然後建立一個 bridge:
ip link add br0 type bridge ip link set br0 up
然後通過 virt-manager
建立兩個 kvm 虛擬機器:kvm1 和 kvm2(前提得支援巢狀虛擬化),將它們的 vNIC 掛到 br0 上,如下圖:
kvm 虛機會使用 tap 裝置作為它的虛擬網絡卡,我們驗證下:
# ps -ef | grep kvm1 libvirt+3549187 ?00:22:09 qemu-system-x86_64 -enable-kvm -name kvm1 ... -netdev tap,fd=26,id=hostnet0,vhost=on,vhostfd=28 ...
可以看到,其中網路部分引數, -netdev tap,fd=26
表示的就是連線主機上的 tap 裝置。
建立的 fd=26 為讀寫 /dev/net/tun
的檔案描述符。
使用 lsof -p 3549
驗證下:
# lsof -p 3549 COMMANDPID USERFDTYPEDEVICESIZE/OFFNODE NAME ... qemu-system 3549libvirt-qemu26uCHR10,2000t107135 /dev/net/tun ...
可以看到,PID 為 3549 的程序打開了檔案 /dev/net/tun
,分配的檔案描述符 fd 為 26。
因此,我們可以得出以下結論:在 kvm 虛機啟動時,會向核心註冊 tap 虛擬網絡卡,同時開啟裝置檔案 /dev/net/tun
,拿到檔案描述符 fd,然後將 fd 和 tap 關聯,tap 就成了一端連線著使用者空間的 qemu-kvm,一端連著主機上的 bridge 的埠,促使兩者完成通訊。
下面分別給兩虛機配上 IP: 10.1.1.2/24
和 10.1.1.3/24
,ping 一下:
在 bridge 上抓個包看看:
可以看到,br0 上抓到 ping 的 ICMP echo 包和 ARP 包。
Bridge 常用使用場景
Bridge 裝置通常就是結合 tap/tun、veth-pair 裝置用於虛擬機器、容器網路裡面。這兩種網路,在資料傳輸流程上還有些許不同,我們簡單來看下:
首先是虛擬機器網路,虛擬機器一般通過 tap/tun 裝置將虛擬機器網絡卡同宿主機裡的 Bridge 連線起來,完成同主機和跨主機的通訊。如下圖所示:
【圖片來源於 網路 ,侵權必刪】
虛擬機發出的資料包通過 tap 裝置先到達 br0,然後經過 eth0 傳送到物理網路中,資料包不需要經過主機的的協議棧,效率是比較高的。
其次是容器網路(容器網路有多種引申的形式,這裡我們只說 Bridge 網路),容器網路和虛擬機器網路類似,不過一般是使用 veth-pair 來連線容器和主機,因為在主機看來,容器就是一個個被隔離的 namespace,用 veth-pair 更有優勢。如下圖所示:
【圖片來源於 網路 ,侵權必刪】
容器的 Bridge 網路通常配置成內網形式,要出外網需要走 NAT,所以它的資料傳輸不像虛擬機器的橋接形式可以直接跨過協議棧,而是必須經過協議棧,通過 NAT 和 ip_forward 功能從物理網絡卡轉發出去,因此,從效能上看,Bridge 網路虛擬機器要優於容器。
總結
Linux Bridge 是虛擬交換機,功能和物理交換機一樣,用於連線虛擬機器和容器。
虛擬機器網路和容器網路的區別。
Bridge 是偏低階的工具,更高階的工具是 Open vSwitch,這個工具後面再詳說。
我的公眾號 CloudDeveloper(ID: cloud_dev) ,號內有大量書籍和視訊資源,後臺回覆 「1024」 即可領取,分享的內容包括但不限於雲端計算虛擬化、容器、OpenStack、K8S、霧計算、網路、工具、SDN、OVS、DPDK、Linux、Go、Python、C/C++程式設計技術等內容,歡迎大家關注。