1. 为什么我们需要VXLAN从传统网络的“堵车”说起如果你在数据中心或者云计算环境里工作过肯定对VLAN虚拟局域网不陌生。它就像在一栋大楼里用墙隔出不同的房间把网络流量分开。VLAN ID只有12位最多能划分4094个网段。这在过去可能够用但到了今天动辄成千上万台虚拟机、容器的云环境里4094个“房间”瞬间就挤爆了根本不够分。更麻烦的是VLAN的二层域被限制在同一个物理网络内你想把上海的虚拟机“搬”到北京还想让它和上海的兄弟们保持在一个二层网络里直接通信传统VLAN基本没戏物理距离和三层网络就像一堵无法逾越的墙。这时候VXLAN虚拟可扩展局域网就该登场了。我第一次接触VXLAN是在一个大型的混合云项目里客户需要把本地数据中心的业务无缝扩展到公有云上两边的虚拟机要像在同一个局域网里一样互相访问。用传统的VLAN拉专线成本高、扩展性差简直就是噩梦。VXLAN完美地解决了这个问题。简单来说VXLAN就是一种“网络穿墙术”。它把原始的以太网帧二层数据包整个打包外面套上新的UDP和IP头然后通过现有的三层IP网络比如互联网或数据中心内部网络传输过去。到了目的地再把外面的“包装”拆掉恢复成原始的以太网帧。这个“包装”上有个关键的标签叫做VNIVXLAN网络标识符它有24位长。这意味着什么意味着我们可以创建多达1600万个2的24次方相互隔离的逻辑网络这彻底解决了VLAN数量不够用的问题。你可以把VNI想象成一个超级大的“虚拟大楼”里面可以有1600万个独立的“房间”网络分段每个房间里的设备虚拟机、容器都以为自己和同伴在同一个传统的二层网络里完全感知不到外面复杂的物理网络拓扑。这种技术我们称之为Overlay叠加网络它运行在Underlay底层物理网络之上两者解耦给了网络架构师巨大的灵活性。2. 核心引擎VTEPVXLAN隧道的起点与终点理解了VXLAN是干什么的我们再来看看它是怎么干活的。这里的关键角色就是VTEPVXLAN隧道端点。你可以把它想象成一个个分布在各地的“邮局”。本地虚拟机要寄信发送数据帧给远方的另一台虚拟机它并不需要知道对方的具体位置它只需要把信交给本地的“邮局”VTEP就行了。VTEP通常部署在运行虚拟机的宿主机如KVM、ESXi的虚拟交换机上比如Open vSwitch也可以集成在物理交换机或者专用的网络设备中。它的核心职责就两个封装和解封装。封装当一台虚拟机比如VM-A想要发送一个数据帧给同VXLAN段内的另一台虚拟机VM-B但这个VM-B可能位于网络另一端的另一台宿主机上。VM-A发出的原始以太网帧会先到达本地的VTEP。VTEP一看目标MAC地址不在本地而且属于某个特定的VNI比如VNI 5000。这时VTEP就会扮演“打包工人”的角色把这个原始的二层帧整个作为“货物”然后套上好几层“包装”最内层原始的以太网帧包含目标/源MAC、VLAN Tag、载荷等。VXLAN头加上VXLAN头部里面最关键的就是VNI5000这个标签用来标识这个数据包属于哪个逻辑网络。外层UDP头源端口通常由内核根据流动态分配用于负载均衡目的端口固定为4789IANA标准端口有些厂商早期用8472。外层IP头源IP是本地VTEP的IP地址目的IP是远端VTEP的IP地址。这就是隧道数据包将在三层网络上根据这个外层IP地址路由。外层MAC头源MAC是本地VTEP的物理接口MAC目的MAC是去往外层目的IP路径上下一跳设备的MAC。解封装远端的VTEP收到这个UDP数据包后通过目的端口4789识别出这是一个VXLAN包。然后它就像“拆快递”一样把外层IP头、UDP头、VXLAN头一层层剥掉露出里面的原始以太网帧。最后根据帧内的VNI5000和目的MAC地址将这个帧转发给正确的本地虚拟机VM-B。整个过程对虚拟机来说是完全透明的。VM-A和VM-B都觉得自己是接在同一个二层交换机上它们根本不知道自己的数据包进行了一次跨越三层的“长途旅行”。VTEP之间建立的隧道是无状态的这意味着它们之间不需要维护复杂的连接状态就像寄信一样每个数据包都是独立的这大大简化了网络设计和提高了可扩展性。3. 组播寻址VXLAN网络中的“广播找人”机制现在问题来了当VM-A第一次想和VM-B通信时它只知道VM-B的IP地址但不知道它的MAC地址。在传统二层网络里它会发送一个ARP广播请求“谁的IP是B的IP请告诉A”。在VXLAN世界里VM-A发出的这个ARP广播帧会被本地的VTEP捕获。VTEP现在面临一个难题我该把这个广播包发给谁我并不知道VM-B在哪个远端VTEP上。这就是VXLAN部署初期最经典也最常用的解决方案组播寻址Multicast。组播也叫多播是一种“一对一组”的通信方式。它允许一个发送者将数据包发送给一组特定的接收者只有加入了这个组的设备才会接收和处理该数据包。在VXLAN中我们可以为每个VNI或者多个VNI分配一个组播IP地址D类地址范围224.0.0.0到239.255.255.255。所有承载这个VNI流量的VTEP都加入到同一个组播组中。让我们还原一下VM-A第一次寻找VM-B的完整过程这是理解VXLAN动态学习机制的关键ARP请求发出VM-AIP_A想和VM-BIP_B通信它发送一个ARP广播“谁是IP_B请回复你的MAC地址给MAC_A”。VTEP封装与组播转发本地VTEP-1收到这个广播帧。它在自己的MAC地址表中查找目标MAC这里是广播地址FF:FF:FF:FF:FF:FF发现没有对应的远端VTEP记录。于是VTEP-1启动组播流程它取出该VNI配置的组播IP例如239.1.1.100。将原始的ARP广播帧封装进VXLAN包外层目的IP地址就是这个组播IP239.1.1.100外层源IP是VTEP-1自己的IP。将这个包发送到底层物理网络。组播分发与学习底层网络的路由器/交换机配置了组播路由协议如PIM会将这个发往239.1.1.100的包转发给所有加入了这个组播组的成员也就是VTEP-2、VTEP-3等。VTEP-2它解封装后发现内层是ARP请求目标IP是IP_B。巧了IP_B正是它本地连接的虚拟机VM-B。于是它把ARP请求交给VM-B并同时学习到一条关键信息“MAC_A属于VNI 5000它位于IP为VTEP-1的远端设备上”。VTEP-2把这个(MAC_A, VNI 5000, VTEP-1_IP)的映射关系记录到自己的MAC表中。VTEP-3它解封装后发现目标IP_B不是自己本地的虚拟机。于是它直接丢弃这个ARP请求包。但是它同样学习到了那条映射关系“MAC_A属于VNI 5000它位于VTEP-1上”。虽然这次通信与它无关但它为未来可能与VM-A的通信做好了准备。ARP响应与单播建立VM-B收到ARP请求后回复一个ARP单播响应“我是IP_B我的MAC地址是MAC_B”。这个响应帧到达VTEP-2。单播封装与直达隧道VTEP-2查看自己的MAC表发现刚才已经学到了MAC_A对应的远端VTEP是VTEP-1。于是它不再使用组播而是直接进行单播封装将ARP响应帧封装进VXLAN包外层目的IP直接设为VTEP-1_IP源IP是VTEP-2_IP然后通过IP网络直接发送给VTEP-1。学习完成后续单播通信VTEP-1收到包解封装后交给VM-A并学习到(MAC_B, VNI 5000, VTEP-2_IP)的映射。至此VM-A和VM-B都知道了对方的MAC地址并且双方的VTEP也都知道了对方的位置。此后它们之间的所有通信单播流量都将通过VTEP-1和VTEP-2之间的点对点单播隧道直接进行高效而简洁。组播机制的精妙之处在于它用一种“广播找人”的方式优雅地解决了VXLAN网络中VTEP动态学习终端MAC地址的问题避免了在控制层面进行复杂的集中式信息同步。4. 实战基于组播的VXLAN网络搭建Linux 原生VXLAN纸上谈兵终觉浅我们直接动手搭一个。这次我们不依赖Open vSwitch直接用Linux内核自带的VXLAN模块来创建一个基于组播的VXLAN网络。假设我们有两台主机Host1和Host2它们之间通过IP网络可达。4.1 环境准备与拓扑假设我们的环境如下Host1: IP地址10.10.10.101 准备创建VXLAN接口vxlan0并分配Overlay网络IP192.168.100.101/24。Host2: IP地址10.10.10.102 准备创建VXLAN接口vxlan0并分配Overlay网络IP192.168.100.102/24。VNI: 我们使用1000。组播地址: 我们选用239.1.1.100作为该VNI的组播组。我们的目标是让192.168.100.101和192.168.100.102能够像在同一个二层网络里一样通信。4.2 在Host1上配置VXLAN接口首先登录Host1我们需要加载必要的内核模块通常已默认加载然后创建VXLAN接口。# 创建VXLAN接口 vxlan0 # 参数解释 # id 1000: 设置VNI为1000 # dev eth0: 指定底层物理接口为eth0VTEP将用这个接口的IP作为源地址 # group 239.1.1.100: 指定组播组地址用于广播/未知单播帧的转发和MAC学习 # dstport 4789: 设置VXLAN目的UDP端口 # local 10.10.10.101: 显式指定本地VTEP的IP地址可选通常由dev参数决定 sudo ip link add vxlan0 type vxlan \ id 1000 \ dev eth0 \ group 239.1.1.100 \ dstport 4789 # 启动VXLAN接口 sudo ip link set vxlan0 up # 给VXLAN接口分配Overlay网络的IP地址 sudo ip addr add 192.168.100.101/24 dev vxlan0执行完这些命令后你可以用ip -d link show vxlan0查看接口的详细信息会看到vxlan相关的配置。4.3 在Host2上配置VXLAN接口在Host2上执行几乎相同的命令只需修改本地Overlay IP地址。# 创建VXLAN接口 vxlan0 # 注意VNI、组播地址、目的端口必须与Host1完全一致 sudo ip link add vxlan0 type vxlan \ id 1000 \ dev eth0 \ group 239.1.1.100 \ dstport 4789 # 启动并配置IP sudo ip link set vxlan0 up sudo ip addr add 192.168.100.102/24 dev vxlan04.4 验证与测试配置完成后神奇的“魔法”就应该生效了。查看对端学习情况关键步骤 在Host1上执行bridge fdb show dev vxlan0。这个命令查看VXLAN接口的转发数据库FDB也就是MAC地址表。一开始可能是空的或者只有一些静态条目。# Host1上执行 bridge fdb show dev vxlan0触发MAC地址学习 在Host1上ping一下Host2的Overlay IP地址。ping 192.168.100.102第一次ping可能会有一点延迟因为触发了ARP over 组播的过程。当ping通后再次查看FDB。bridge fdb show dev vxlan0你应该会看到一条类似这样的动态学习条目... dst 10.10.10.102 self permanent这条记录的意思是所有发往某个特定MAC地址这里被省略了实际上是Host2上vxlan0接口的MAC的、属于VNI 1000的帧都应该封装后发送到远端VTEP IP10.10.10.102。这条记录正是通过之前的组播ARP过程学到的测试通信 现在192.168.100.101和192.168.100.102应该可以自由通信了。你可以用ping、traceroute等工具测试它们的行为完全像是在同一个局域网内的两台机器。4.5 底层网络的关键要求这个实验成功的前提是你的底层网络Underlay必须支持组播路由。在简单的实验室环境比如两台主机直连或者连接在同一台二层交换机上组播帧通常可以泛洪所以能直接工作。但在复杂的生产网络跨越多个路由器中你需要确保所有VTEP节点之间的三层路由是通的。网络设备交换机、路由器启用了组播路由协议如PIM-SM并且VTEP使用的组播地址239.1.1.100在网络中是可路由的。每个VTEP的物理接口都加入了该组播组。正因为组播对底层网络有要求且管理复杂度较高所以在后来的VXLAN演进中出现了头端复制Ingress Replication和集中式控制平面如EVPN等替代方案。头端复制简单来说就是由发起广播的VTEP通过已知的VTEP成员列表将广播包复制多份分别用单播发送给所有其他VTEP这样就避免了对底层网络组播的依赖。而EVPN则是一种更高级的控制协议它使用BGP来分发VTEP和终端MAC/IP的映射信息实现了控制平面和数据平面的分离是目前大规模VXLAN网络的主流选择。5. 进阶与排坑生产环境中的考量在实际项目中直接用Linux命令配置只是第一步。要把VXLAN稳定地用起来还得注意不少细节。坑点一MTU问题VXLAN封装会给原始数据包加上至少50字节的头部外层MAC 14 IP 20 UDP 8 VXLAN 8。如果你的虚拟机发送一个1500字节的标准以太网帧经过VTEP封装后就会变成1550字节超过标准以太网MTU。这会导致数据包在物理网络中被分片严重影响性能甚至被丢弃。解决办法是增大底层物理接口和VTEP接口的MTU通常建议设置为1600或更高。同时虚拟机内部的接口MTU也需要相应调小比如1450以确保封装后不超过物理MTU。坑点二组播的替代方案正如前面提到的组播并非唯一选择。对于中小规模或底层网络不支持组播的环境头端复制Flood Mode是更简单的选择。在Linux中创建VXLAN接口时将group参数替换为remote 对方VTEP_IP可以建立点对点隧道但这样无法处理广播和动态学习。更常用的方式是结合多播组单播成员列表或者直接使用像Flannel VXLAN这样的网络插件它们通常实现了自己的主机发现和转发机制。坑点三性能与卸载VXLAN的封装解封装是CPU密集型操作。在高流量场景下这可能会成为性能瓶颈。现代网卡特别是智能网卡如支持SR-IOV的网卡通常支持VXLAN卸载Offload功能。这意味着封装/解封装的工作可以由网卡硬件来完成极大减轻CPU负担。在部署时务必检查你的网卡驱动和系统是否开启了相关特性。在Linux上可以使用ethtool -k 网卡名查看tx-udp_tnl-segmentation和rx-udp_tnl-segmentation是否为on。坑点四网络安全与策略VXLAN构建了一个巨大的、虚拟的二层域。这意味着广播风暴的风险依然存在并且一个VNI内的所有设备默认是二层互通的。在生产环境中你需要在VTEP上实施严格的安全策略。例如利用VXLAN网关进行三层转发和隔离或者结合安全组Security Groups、网络策略Network Policies在虚拟交换机层面进行细粒度的流量控制防止东西向流量的非法访问。从我自己的经验来看VXLAN的引入从来不是孤立的。它往往是软件定义网络SDN或云原生网络方案中的一环。当你使用 Kubernetes 的 Calico支持VXLAN模式、Flannel、或者 VMware NSX、OpenStack Neutron 时其实已经在不知不觉中使用了VXLAN。理解其底层原理能帮助你在遇到网络不通、性能不佳问题时更快地定位到底是Overlay的问题还是Underlay的问题或者是两者之间配合的问题。比如那次我们遇到某个Pod间歇性通信超时最后抓包发现就是底层交换机的MTU配置不一致导致大包被丢弃原理就和上面提到的MTU坑点一模一样。