RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch引言:在SAS/SATA RAID卡开始转向Tri-Mode即支持NVMe之后,关于软硬RAID哪个更好的讨论还在继续。而Broadcom和Mi

大家好,欢迎来到IT知识分享网。

引言:在SAS/SATA RAID卡开始转向Tri-Mode即支持NVMe之后,关于软硬RAID哪个更好的讨论还在继续。而Broadcom和Microchip这两家大厂的手里,正好都掌握着PCIe Switch芯片技术。不知是否有朋友考虑过,如果把传统RAID卡与PCIe Switch相结合(比如下图),会有什么样的结果呢?

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

目录

-Microchip 24G SAS/PCIe Gen4三模RAID卡

-RAID 5/6带宽优秀,但IOPS相对一般?

-RAID芯片嵌入PCIe Switch:Bypass vs. 协议栈改良

-ROC应用示例与SAS的前景

这几天我看到有技术同行讨论RAID卡的RAID 5/6顺序写带宽(对应XOR异或计算处理性能),而Broadcom(原LSI)最近2代产品都没在公开资料里给出这个指标,或许全SSD配置在应用中面对随机I/O负载偏多吧?(工作站和Isilon类文件存储还是更看重带宽的)《350万IOPS:NVMe SSD RAID卡性能测试解析》一文里我介绍过Dell PERC 11 卡在RAID 10写带宽测试中跑到5,908 MB/s,按常规理解RAID 5应该要低一些。

至于Broadcom最新一代能跑到多少我还不清楚,但他们的竞争对手MicroChip(其存储业务即之前被MicroSemi收购的PMC-Sierra)却公布了相关性能指标。

Microchip 24G SAS/PCIe Gen4三模RAID卡

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

其实Microchip也发布了支持24G SAS和PCIe Gen4 NVMe驱动器的、新一代Tri-Mode三模RAID控制芯片和阵列卡。上面照片就是其中的一款Adaptec SmartRAID Ultra 3258p-32i,它除了使用PCIe Gen4 x16插槽连接服务器主板之外,还提供了4个SFF-8654(x8 lane)连接器,也就是支持32个连接SAS或PCIe设备的下行信道,不经过SAS Expander/PCIe Switch即可支持32块SAS/SATA盘或者8个PCIe x4完整带宽连接的NVMe SSD。

相比之下,Broadcom最新一代RAID卡的下行SAS/PCIe信道最多是24 lane。当然需要指出的是,这里的无论24还是32 lane并不能同时跑满全速,因为上行带宽受PCIe Gen4 x16插槽制约,实际测试中30GB/s左右基本就很不错了。

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

注:上面截图中的CBE指的是基于控制器的加密(Controller-Based Encryption)

拿硬件阵列卡做RAID 0的用户毕竟不多,所以大家更关心RAID 5/6的表现。如上图,SmartRAID 3200资料中的最大带宽是29.6GB/s;RAID 5写带宽最高能达到11.7GB/s。这大致达到了GPU加速mdraid方案GRAID的一半水平(扩展阅读《110 GB/s、1900万 IOPS:使用GPU的RAID卡及其背后》),应该说比较优秀了,毕竟传统RAID卡有掉电缓存保护,数据一致性比较放心。

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

图片点开后可放大查看)虽然我们在这里讨论高性能,但出货最多的RAID卡型号还是PCIe x8、连接SAS、SATA盘的为主,毕竟x16高lane带宽的贵哦

上图是SmartRAID 3200系列的型号规格表,Microchip支持的RAID级别多了一种Triple(即三重镜像),由于容量损失较多,实用价值似乎不太大。另外这里列出的Cache Width缓存位宽128/64-bit指的是刨除ECC校验之后的实际数据宽度。

RAID 5/6带宽优秀,但IOPS相对一般?

Microchip还指出,带有144-bit DDR4 3200MHz内存(双通道ECC Cache)的高端RAID卡与配置72-bit单通道缓存的型号相比,在RAID 5写带宽上能高出45%。其实在上一篇中,我也提到了Broadcom的高端型号“MegaRAID 9670W -16i配备了8GB双通道缓存”。

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

主机界面PCIe Gen4 x16的SmartRAID 3200 Ultra系列RAID卡,最高读/写带宽性能达到29.6GB/s,应该是指RAID 0或者直通;而不带Ultra的3200系列都是PCIe x8,只有一半的带宽即15GB/s。

顺便说一下随机读IOPS。Microchip列出的350万+看上去与Broadcom上一代RAID卡差不多,但具体是什么RAID级别下实现的,我们还要结合下一张图来看。

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

Microchip在上图中写出RAID 5 4K随机读IOPS是85万,与Broadcom新发布的24G SAS Tri-Mode MegaRAID相比看上去没差太多。但别忘了后者可是90-110万4K写(如下图),Microchip却并没给出随机写性能(我估计他们可能还没有像Broadcom那样做RAID 5算法上的变革),另外Broadcom上一代可是能做到RAID 5随机读IOPS 350万哦。

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

下面我再列出Adaptec HBA 1200系列(SmartIOC 2200芯片)直通卡做个参考:

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

从这里可以再次看出,Microchip的3.5M+ IOPS是针对的HBA直通的性能,最多包括RAID 0/1

这里我多聊一句,关注大文件顺序I/O性能的用户,也有不少用的是HDD机械硬盘,而上面写的11.7GB/s应该是用SSD RAID5测出来的。如果换成HDD,按照单盘最高250MB/s(实际上多数情况达不到)来计算至少也要50-60块盘、做多组RAID才可能接近这一带宽水平。还有一点,大容量机械盘您敢不用RAID 6吗?R6性能应该比R5要低一些哦。

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

如上图,SmartROC/SmartRAID 3200系列的RAID 6最大写带宽可达10.5GB/s,这也是个不错的数字。

RAID芯片嵌入PCIe Switch:Bypass vs. 协议栈改良

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

DirectPath技术的示意图就是我在本文开头列出那张。从Host主机上驱动与NVMe SSD之间的I/O路径,传统Tri-Mode RAID卡应该要经过“硬件控制&加速单元”——但实际上面对高速NVMe SSD,ROC芯片已经出现了瓶颈

DirectPath相当于在ROC中嵌入一颗整合的PCIe Switch,这样数据路径就可以Bypass之前影响到性能和延时之处。我理解Microchip的350万IOPS可能就是走的DirectPath;而RAID 5 IOPS 85万应该还是经过ROC上的传统处理路径。

那么思考题来了:Broadcom24G SAS/PCIe 4 RAID卡的600万随机读IOPS,以及上一代的350万,是不是也在ROC芯片中集成PCIe Switch做了“直通”处理呢?虽然我现在还没有答案,而类似地,RAID 5 90万-110万IOPS这个数字也是走的传统XOR等处理单元——但Broadcom这一代的协议栈/算法做了改良。

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

如上图:如果只看性能,强如GRAID其RAID 5随机写IOPS也只能跑到150万,和顺序写一样都是经过NVIDIA GPU来处理的;GRAID的读路径显然没有经过GPU,就是CPU直接走PCIe访问SSD,所以(这种软RAID)数据看来很漂亮。

ROC应用示例与SAS的前景

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

下面再简单看看SmartRAID 3200阵列卡对应的SmartROC芯片型号。

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

图表供参考

RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

上图是SmartROC资料中列出的一种用例:RAID卡上每个x8 Tri-Mode连接器,可以在连接到背板后拆分到8个SFF-TA-1001通用驱动器槽位,支持NVMe/SAS/SAS(此时都是x1 lane);也可以拆分为2个x4 NVMe或者连接MultiLink SAS目标设备。

我记得有些24Gb/s和12Gb/s SAS SSD的双端口也支持合并(即MultiLink)使用,但在服务器上它们的性价比似乎没有NVMe SSD高。好处有哪些呢?24G(22.5Gb/s)单个lane的速率暂时比PCIe 4.0的16GT/s高,但PCIe 5.0也快来了,所以SAS(SCSI)技术除了在存量的SAN/NAS存储阵列市场,未来走势已经注定了吧?我看到闪存越来越便宜,而NVMe HDD不是也有人在搞了…

另有3种参考用例如下。大家应该都不难理解,我就不一一赘述了。

High-Performance NVMe RAID

Caching HBA

Externally Connected JBOD with DCM

综上,截至今天最新一代RAID卡Microchip对比Broadcom输了IOPS却可能赢了带宽。我在这两篇聊的SAS/SATA/NVMe(即Tri-Mode)RAID/HBA领域,虽然不像FC HBA卡的两家Emulex和QLogic那样“势均力敌”,但一个有竞争的市场,至少我们能看到参数指标竞争和不同的报价,总是比一家垄断要好吧:)

注:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。如果您想在这个公众号上分享自己的技术干货,也欢迎联系我:)

尊重知识,转载时请保留全文。感谢您的阅读和支持!

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/55798.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信