典型场景实践

典型场景实践

场景设定：由于业务需要，用户希望使用Mellanox CX-5型号的智能网卡，进一步提升业务云主机的网络性能。

假定用户已准备以下资源：

已准备两台x86服务器、一台千兆交换机、一台万兆交换机、以及若干五类跳线。
每台x86服务器已安装一张Mellanox CX-5型号智能网卡。
已准备以下必要文件：
- 最新ZStack Cloud ISO（h76c版）
- 最新ZStack Cloud安装包
- 最新多管理节点高可用套件
- ZStack Cloud云平台许可证（企业版付费）
- 最新ZStack Cloud专用VPC路由器镜像（KVM）

假定用户硬件网络规划如下：

管理网络

表 1. 管理网络
节点	千兆网口 1	千兆网口 2	聚合网口	网桥	IP地址	掩码	网关
管理节点1	eth0	eth1	bond0	br_bond0	172.25.15.143	255.255.255.0	172.25.0.1
管理节点2	eth0	eth1	bond0	br_bond0	172.25.15.99	255.255.255.0	172.25.0.1

业务网络

表 2. 业务网络
节点	万兆网口 1	万兆网口 2	IP地址	掩码	网关
管理节点1	enp179s0f0	enp179s0f1	-	-	-
管理节点2	enp179s0f0	enp179s0f1	-	-	-

硬件网络拓扑如图 1所示：

假定用户场景网络规划如下：

管理网络

表 3. 管理网络
管理网络	配置信息
网卡	bond0
VLAN ID	非VLAN
IP地址段	172.25.15.50~172.25.15.150
子网掩码	255.255.255.0
网关	172.25.0.1

VPC网络

表 4. VPC子网-1
VPC子网-1	配置信息
网卡	bond0
VLAN ID	2200
CIDR	192.167.0.1/24
网关	192.167.0.1
DHCP服务IP	系统随机分配

表 5. VPC子网-2
VPC子网-2	配置信息
网卡	enp179s0f1
VLAN ID	2334
CIDR	192.168.0.1/24
网关	192.168.0.1
DHCP服务IP	系统随机分配

场景网络拓扑如图 2所示：

具体实践流程如下：

硬件上架并连线。
安装操作系统。
配置管理网络。
安装高可用套件。
安装许可证。
创建集群，并开启网络加速支持。
将两台管理节点添加至集群。
切割物理网卡。
创建两个二层网络（网络加速模式分别为：智能网卡、标准），并加载到集群。
创建VPC路由器，并创建两个VPC子网。
创建两台业务云主机，每台均挂载两个VPC子网。
场景验证：业务云主机vNIC类型网卡与vDPA类型网卡性能对比。

硬件上架并连线。

核对硬件设备，按照硬件网络拓扑图（如图 1所示），对服务器和网络设备进行上架并连线。
安装操作系统。

依次对两台服务器执行以下步骤，安装操作系统。
1. BIOS检查。
  
  硬件设备上电后，手动启动服务器进入BIOS检查，需确保BIOS已开启：SR-IOV支持、Intel VT-d / AMD IOMMU支持。
2. 将定制版ISO刻录到U盘。
3. 通过U盘引导节点启动，进入安装导航。
4. 安装操作系统。
  
  选择默认项开始安装操作系统。分区配置完成后，使用管理节点模式进行安装。安装过程自动进行，需要设定root账户密码。安装结束后，重新引导节点启动，拔掉U盘。

配置管理网络。

按照硬件网络规划（如表 1所示），依次对两台管理节点执行以下命令，配置管理网络。

# 以管理节点1为例  # 创建聚合网卡bond0 [root@localhost ~]# zs-bond-lacp -c bond0  # 将管理节点1的两个千兆网口eth0、eth1添加到bond0 [root@localhost ~]# zs-nic-to-bond -a bond0 eth0  [root@localhost ~]# zs-nic-to-bond -a bond0 eth1  # 配置上述链路聚合后,请在对应的交换机网口配置LACP聚合  # 创建网桥br_bond0，指定管理节点1的IP、掩码和网关 [root@localhost ~]# zs-network-setting -b bond0 172.25.15.143 255.255.255.0 172.25.0.1  # 查看聚合端口bond0是否创建成功 [root@localhost ~]# zs-show-network

安装高可用套件。

对任一管理节点执行以下步骤安装高可用套件，即可实现双管理节点高可用。

以管理节点1为例。
1. 将高可用套件导入管理节点1并解压。
2. 在管理节点1中安装高可用套件。
3. 通过VIP访问管理节点1的UI界面，完成云平台初始化。
4. 管理节点主备切换，通过VIP访问管理节点2的UI界面，完成云平台初始化。
安装许可证。

通过VIP访问任一管理节点的UI界面，将已备好的双管理节点许可证上传即可。
创建集群，并开启网络加速支持。
通过VIP访问管理节点1的UI界面。在ZStack Cloud主菜单，点击资源中心 > 硬件设施 > 计算设施 > 集群，进入集群界面。点击创建集群，弹出创建集群界面。
可参考以下示例输入相应内容：
- 区域：显示当前所在区域
- 名称：设置集群名称
- 简介：可选项，备注相关信息
- 虚拟化技术：选择KVM
- CPU架构：选择x86_64
- 网络加速支持：可选项，默认关闭，本场景选择开启
  说明: 网络加速支持仅可在创建集群时开启。
- 网络配置：
  - VDI网络：可选项，留空不填
  - 迁移网络：可选项，留空不填
- 高级设置：
  - 指定云主机CPU型号：可选项，使用默认设置
  - 物理机CPU型号设置：可选项，使用默认设置
如图 3所示：
图 3. 创建集群
将两台管理节点添加至集群。
在ZStack Cloud主菜单，点击资源中心 > 硬件设施 > 计算设施 > 物理机，进入物理机界面。点击添加物理机，弹出添加物理机界面，选择手动添加方式。
以添加管理节点1为例，可参考以下示例输入相应内容：
- 名称：设置物理机名称
- 简介：可选项，备注相关信息
- 虚拟化技术：选择KVM
- 标签：可选项，不设置
- 集群：选择已创建好且开启网络加速支持的集群
- 物理机信息：选择IP地址方式
  - IP地址：输入物理机IP，本场景输入管理节点1的IP：172.25.15.143
  - SSH端口：输入物理机SSH端口，默认为22
  - 用户名：输入物理机用户名，默认为root
  - 密码：输入用户名匹配的密码
- 扫描物理机IOMMU设置：可选项，默认关闭，本场景选择开启
  说明: 在内核开启IOMMU支持后，需重启物理机生效。
- Intel EPT硬件辅助：可选项，默认开启
- 添加下一个：勾选，继续添加管理节点2
如图 4所示：
图 4. 添加管理节点1
切割物理网卡。

在物理机详情页点击关联资源 > 物理网卡，选择Mellanox CX-5型号的智能网卡，执行SR-IOV切割操作，将物理网卡切割成指定数量的虚拟网卡。
创建两个二层网络（网络加速模式分别为：智能网卡、标准），并加载到集群。
1. 创建二层网络（网络加速模式为：智能网卡），并加载到集群。
  在ZStack Cloud主菜单，点击资源中心 > 网络资源 > 二层网络资源 > 二层网络，进入二层网络界面。点击创建二层网络，弹出创建二层网络界面。
  可参考以下示例输入相应内容：
  - 区域：显示当前所在区域
  - 名称：设置二层网络名称
  - 简介：可选项，备注相关信息
  - 类型：选择L2VlanNetwork
  - 集群：可选项，选择已创建好且开启网络加速支持的集群
  - 网络加速模式：选择智能网卡
  - VLAN ID：输入VLAN ID，本场景输入：2334
  - 网卡名称：输入二层网络设备名称，本场景输入：enp179s0f1
  如图 5所示：
  图 5. 创建二层网络智能网卡
2. 创建二层网络（网络加速模式为：标准），并加载到集群。
  可参考以下示例输入相应内容：
  - 区域：显示当前所在区域
  - 名称：设置二层网络名称
  - 简介：可选项，备注相关信息
  - 类型：选择L2VlanNetwork
  - 集群：可选项，选择已创建好且开启网络加速支持的集群
  - 网络加速模式：选择标准
  - VLAN ID：输入VLAN ID，本场景输入：2200
  - 网卡名称：输入二层网络设备名称，本场景输入：bond0
  如图 6所示：
  图 6. 创建二层网络标准
创建VPC路由器，并创建两个VPC子网。
1. 创建VPC路由器。
  提前将已备好的专用VPC路由器镜像添加至云平台，并按照场景网络规划（如表 3所示）创建管理网络以及路由器规格。
  
  在ZStack Cloud主菜单，点击资源中心 > 网络资源 > 路由器 > VPC路由器，进入VPC路由器界面，点击创建VPC路由器，弹出创建VPC路由器界面。
  可参考以下示例输入相应内容：
  - 名称：设置VPC路由器名称
  - 简介：可选项，备注相关信息
  - 路由器规格：选择已创建好的路由器规格
  - 集群：可选项，指定启动VPC路由器的物理机所在的集群
  - 集群分配策略：VPC路由器支持系统分配和手动指定两种存储分配策略：
    
    系统分配：系统根据预置策略分配主存储。
    
    手动指定：用户按需手动选择主存储。
    
    主存储：选择VPC路由器使用的主存储
  - 物理机：可选项，可指定物理机启动VPC路由器，本场景选择管理节点1
  - 指定默认IPv4：可选项，留空不填
  - 指定管理网IP：可选项，留空不填
  - DNS：可选项，留空不填
  - CPU绑定：可选项，不设置
  如图 7所示：
  图 7. 创建VPC路由器
2. 创建VPC子网-1。
  按照场景网络规划（如表 4所示），创建VPC子网-1。
  
  在ZStack Cloud主菜单，点击资源中心 > 网络资源 > 三层网络资源 > VPC网络，进入VPC网络界面，点击创建VPC网络，弹出创建VPC网络界面。
  可参考以下示例输入相应内容：
  - 名称：设置VPC网络名称，本场景输入：VPC子网-1
  - 简介：可选项，备注相关信息
  - 二层网络：选择已创建好的二层网络（网络加速模式为：标准）
  - VPC路由器：可选项，选择已创建好的VPC路由器
  - 网络段方式：选择CIDR
    
    CIDR：本场景输入：192.167.0.1/24
    
    网关：可选项，本场景输入：192.167.0.1
    
    DHCP服务：可选项，默认开启
    
    IP分配策略：可选项，本场景选择随机分配
    
    DHCP服务IP：可选项，留空不填，系统随机分配
  - DNS：可选项，留空不填
  如图 8所示：
  图 8. 创建VPC子网-1
3. 创建VPC子网-2。
  按照场景网络规划（如表 5所示），创建VPC子网-2。
  可参考以下示例输入相应内容：
  - 名称：设置VPC网络名称，本场景输入：VPC子网-2
  - 简介：可选项，备注相关信息
  - 二层网络：选择已创建好的二层网络（网络加速模式为：智能网卡）
  - VPC路由器：可选项，选择已创建好的VPC路由器
  - 网络段方式：选择CIDR
    
    CIDR：本场景输入：192.168.0.1/24
    
    网关：可选项，本场景输入：192.168.0.1
    
    DHCP服务：可选项，默认开启
    
    IP分配策略：可选项，本场景选择随机分配
    
    DHCP服务IP：可选项，留空不填，系统随机分配
  - DNS：可选项，留空不填
  如图 9所示：
  图 9. 创建VPC子网-2
创建两台业务云主机，每台均挂载两个VPC子网。
在ZStack Cloud主菜单，点击资源中心 > 云资源池 > 虚拟资源 > 云主机，进入云主机界面。点击创建云主机，弹出创建云主机界面，选择快捷创建方式。
可参考以下示例输入相应内容：
- 名称：设置云主机名称
- 数量：本场景输入：2
- 标签：可选项，不设置
- 规格：选择基础规格
  - 计算规格：选择已有的计算规格
  - 镜像：选择已添加的云主机镜像
  - 数据云盘：可选项，默认不勾选
- 网络配置：
  - 网络：选择已创建好的VPC子网-1、VPC子网-2
  - 设置默认网络：设置VPC子网-2为默认网络
  - 启用SR-IOV：可选项，置灰，本场景不启用
  - 指定IP：可选项，默认不勾选，通过DHCP随机分配
  - MAC地址：可选项，默认不勾选，系统随机分配
  - 安全组：可选项，不设置
  - 弹性IP：可选项，不设置
- User Data：可选项，不设置
如图 10所示：
图 10. 创建云主机

场景验证：业务云主机vNIC类型网卡与vDPA类型网卡性能对比。

本场景下，将使用iperf3网络测速工具，对两台业务云主机进行网络性能测试，并分别从带宽、丢包率、吞吐量三个指标来查看业务云主机的vNIC网卡与vDPA网卡的性能对比。

查看两台业务云主机的网卡信息。

名称	网卡类型	IP地址
业务云主机-1	vNIC	192.167.0.218
业务云主机-1	vDPA	192.168.0.149
业务云主机-2	vNIC	192.167.0.226
业务云主机-2	vDPA	192.168.0.110

如图 11所示：

UDP小包性能测试（包大小：16 byte）

假定业务云主机-1为客户端，业务云主机-2为服务端。

测试分为以下两轮：

第一轮：UDP小包从业务云主机2（vNIC）发送至业务云主机1（vNIC），查看带宽、丢包率、吞吐量。
第二轮：UDP小包从业务云主机2（vDPA）发送至业务云主机1（vDPA），查看带宽、丢包率、吞吐量。

# 安装iperf3，服务端与客户端均需安装 [root@localhost ~]# yum install iperf3  # 第一轮测试  # 在服务端执行以下命令 [root@localhost ~]# iperf3 -s  # 在客户端执行以下命令 [root@localhost ~]# iperf3 -u -l 16 -b 100m -t 30 -c 192.167.0.226 -i 1  # iperf3命令相关参数释义 # -s //以服务端模式运行  # -u //UDP模式 # -l //UDP包大小，单位：byte # -b //目标带宽，单位：bits/sec # -t //测试时长，单位：s # -c //以客户端模式运行，并指定服务端IP地址 # -i //回显时间间隔，单位：s  # 第一轮测试持续30秒结束  # 第二轮测试  # 在客户端执行以下命令 [root@localhost ~]# iperf3 -u -l 16 -b 100m -t 30 -c 192.168.0.110 -i 1  # 第二轮测试持续30秒结束

测试结果：

UDP小包测试	服务端 - 客户端	带宽（Mbits/sec）	丢包率（%）	吞吐量（pps）
第一轮	业务云主机2（vNIC）- 业务云主机1（vNIC）	12.1	0.46	95144.3
第二轮	业务云主机2（vDPA）- 业务云主机1（vDPA）	19.2	0.74	151418

如图 12所示：

UDP大包性能测试（包大小：1460 byte）

假定业务云主机-1为客户端，业务云主机-2为服务端。

测试分为以下两轮：

第一轮：UDP大包从业务云主机2（vNIC）发送至业务云主机1（vNIC），查看带宽、丢包率、吞吐量。
第二轮：UDP大包从业务云主机2（vDPA）发送至业务云主机1（vDPA），查看带宽、丢包率、吞吐量。

# 第一轮测试  # 在客户端执行以下命令，UDP包大小为默认值：1460 byte [root@localhost ~]# iperf3 -u -b 1G -t 30 -c 192.167.0.226 -i 1  # 第一轮测试持续30秒结束  # 第二轮测试  # 在客户端执行以下命令，UDP包大小为默认值：1460 byte [root@localhost ~]# iperf3 -u -b 1G -t 30 -c 192.168.0.110 -i 1  # 第二轮测试持续30秒结束

测试结果：

UDP大包测试	服务端 - 客户端	带宽（Mbits/sec）	丢包率（%）	吞吐量（pps）
第一轮	业务云主机2（vNIC）- 业务云主机1（vNIC）	267	51	94735.1
第二轮	业务云主机2（vDPA）- 业务云主机1（vDPA）	843	1.8	148343.5

如图 13所示：

至此，智能网卡场景实践介绍完毕。

升级提醒

若您选择升级至4.0.0及之后版本，请注意以下功能调整：

1. 云路由器全面升级为VPC路由器，云路由网络全面升级为VPC网络，不再单独设云路由器页面。升级全程无感知，相关业务不受任何影响。

2. 企业管理账号体系取代用户组与用户，不再单独设用户/用户组页面，不可再使用用户/用户组账号登录云平台。升级前，请先将“用户组与用户”纳管的账号数据妥善迁移至“企业管理”纳管，再执行升级操作。注意：对于admin创建并具备admin权限的用户账号同步取消，如有需要，可使用企业管理账号体系中的平台管理员实现相同功能。

3. 调整AD/LDAP与账户的对接管理方式，统一由企业管理纳管，不再单独设AD/LDAP页面。升级前，请先将“账户”对接纳管的AD/LDAP账号数据妥善迁移至“企业管理”纳管，再执行升级操作。

如对上述升级提醒有任何疑问或需要升级帮助，请联系ZStack官方技术支持

客户评论

撰写评论

产品

解决方案

支持

联系