vSphere、vSAN与高速网

李晓苏 乐生活与爱IT 2018-01-13

【编者按】

晓苏是我以前的同事,现在任职Cavium公司技术经理。


Cavium公司是全球领先的多核 MIPS 和 ARM 处理器提供商,处理器广泛应用于网络/通讯、无线、存储和控制应用等领域的安全产品。

2016年6月,Cavium以13.6亿美元收购网络厂商QLogic;2017年11月,Marvell拟以 60 亿美元收购 Cavium。


本篇文章经作者授权。可以看到高速网络下vSphere的性能。从下面10G、25G的测试性能截图可以看出,在虚拟环境下,也能充分地发挥硬件的性能。


---Begin---


VMware vSAN简介

VMware vSAN,曾用名VMware Virtual SAN,现称vSAN。我们可以把vSAN理解为vSphere Storage,是vSphere虚拟机后端的企业级高性能存储。vSAN其实就是基于服务器端存储的共享分布式对象存储系统,可以用来取代vSphere后端的外置磁盘阵列。 

 


 

vSANvSphere集群服务器各个节点内的SSD(固态硬盘)HDD(硬盘),聚合在一起,构成一个共享的存储池。然后再由存储池按照预先创建好的存储策略(用户不创建,则自动使用系统默认策略),分配存储空间给集群内的虚拟机使用。如果借助NAS插件,也可提供共享的文件空间给其他集群,或者物理机使用。或者借助vSAN iSCSI接口,也可提供vSAN的空间,以块的访问方式给物理机使用。


vSAN是一种基于软件的分布式存储解决方案,可在任何标准X86服务器上运行,只要I/O Controller(控制器)SSDHDDvSAN HCL (Hardware Compatibility List- 兼容列表)内,就可运行。vSANHCL非常丰富,为用户的选型提供了非常高的灵活性。

S2D 可以使用RDMA并且建议采用25G网络不同,VMware vSAN 目前并没有针对网络环境提出太高的要求,选择更为宽松:

 

 

在官方建议的最佳实践中,1G 千兆网卡为最低配置,10G 万兆网卡为建议配置。这在目前的数据中心网络当中,特别是软件定义存储应用当中,此配置要求是比较宽泛的。

 

最佳实践是为了获得最好的性能,因此10G 共享网卡作为最低配置更匹配系统的实际要求,单独的10G网卡或者更高速率的接口,才能实现更好的性能特别是全闪存配置的要求。vSAN最新版本所对应的vSphere 6.5系统配置当中,明确了以下网卡都可以支持:




高速以太网

 

更高带宽的网卡接口,到底对性能有多少影响呢?我们做了这样一个实验,单纯地对比10G网卡和25G 网卡在VMware环境当中的网络传输性能。10G测试时,两端的服务器采用QLE3442-SR 网卡,每台服务器使用1个端口连接到10G交换机;25G测试时,两端的服务器采用QL45212 网卡,每台服务器使用1个端口连接到25G交换机。vCenter服务器采用1G网卡通过千兆网络对两台测试系统进行管理工作。

 

实验拓扑请参考下图:



每台ESX 服务器创建4VM虚拟机,并在虚拟机上运行IxChariot流量测试程序,ixchariotIxia公司的专业性能测试软件,可以模拟各种网络流量场景以评估设备、系统以及网络在这些场景当中的表现。每台虚拟机会运行2IxChariot 测试进程,因此在单向流量测试中,总共有8个进程在传输测试数据;而双向流量测试中,总共有16个进程在传输数据。我们选择的数据包大小在1KB64KB之间,基本可以覆盖主流应用的数据包大小区间。另外,每项测试进行两次,第一次是关闭网卡的large segment offload (LSO) TCP segment offload(TSO) 卸载功能,由CPU进行数据拆分切片;第二次则开启网卡的LSOTSO硬件卸载功能,降低CPU的消耗,提高系统处理能力。

 

10G网卡双向流量测试结果:



25G 网卡双向流量测试结果:



从上面的单纯速率测试可以看出以下几点:

 

1.      25G 网卡传输性能远远超过10G网卡

16KB以下的数据包测试中,差距尤为明显。数据包大小为16KB时,差距是3倍;而数据包为1KB时,传输性能差距超过20倍!

 

2.      LSO/TSO 对网络性能提升帮助很大

25G网卡测试中,开启LSO/TSO硬件卸载平均可以实现18% 左右的性能提升。

 

因此从性能角度想要达到最佳的性能,在端口速率的选择上应该还是越高越好。


RDMA网络特性

 

既然高速以太网网卡可以提升网络带宽来提高性能,那么现在非常火热的以太网RDMA是否也可以应用在vSAN之上呢?众所周知S2D 可以利用iWARPRoCE 两种以太网RDMA协议。

 

目前vSAN 暂不支持以太网RDMA,不过相信不久的将来会支持。微软曾经提供过一个简单虚拟化环境下RDMA和普通TCP/IP网络性能的对比:



 

从上图我们可以看出:

1.      RDMA 技术可以显著提升性能,在提高IOPS的同时降低时延,降低CPU消耗。

2.      TCP/IP 虽然没有RDMA网络速度快,但是依然是一个非常可靠的选择,在对时延要求较低的应用当中,依然可以提供非常可观IOPS输出。

 

 

vSphere 原本就支持InfiniBand网络,在20173月的文章vSphere 6.5 with RoCE (RDMA over Converged Ethernet)and Certification Suite 中,已经开始了网卡认证工作。vSphere 一旦开始支持RDMA网络,vSAN 就会很快实现了。希望到那个时候,我们可以再横向比较一下vSANRDMA网络和普通TCP/IP 网络之间的区别。


---End---


本篇文章2018年1月12日在微信公众号 CaviumQLogic 上发布,题为:《vSAN软件定义存储与高速以太网特性 (25G/100G以及RDMA)》


微信公众号平台"乐生活与爱IT"在目前阶段,主要是分享软件定义存储(SDS),及VMware vSAN相关的文章,偶尔也会分享虚拟化、云计算、大数据、区块链等IT类文章,甚至生活类的好文章。欢迎投稿,特别是原创文章。如果原创文章属于首次发布,根据质量和阅读量的不同,能获得20~500元的稿费。我的QQ号:9269216另外,如果还有赞赏收入,作者可获得60%


欢迎对SDS感兴趣的朋友,加入软件定义存储讨论 QQ群:122295009,可下载原创的一些文章,及其他有参考价值的文档。可直接搜索群号,或者扫描如下二维码:


同时,欢迎您加入 "开放讨论群-SDS&虚拟化" 微信群,并邀请其他对SDS和虚拟化感兴趣的朋友加入此微信群。可以通过添加如下管理员之一的微信号,建议添加管理员时,告知你的公司名和姓名,方便备注保存。

sdg8848

libo9538

yangzhuan

dts0103

欢迎您通过扫描关注微信公众号:“乐生活与爱IT”。


关注后,可以通过点击左下角的文章目录,通过输入三位数(记住!是三位数,目前第一位是0或者1)详细了解如何查看历史文章。


点击左下角“阅读原文”,可以跳转到微信公众号“乐生活与爱IT”的上文章:

《InfiniBand支持VMware vSAN吗?》



本站仅按申请收录文章,版权归原作者所有
如若侵权,请联系本站删除
觉得不错,分享给更多人看到