大家好，欢迎来到IT知识分享网。
最近关于英伟达PCIe卡和SXM卡的讨论多了起来，说PCIe卡不能用于大模型训练，为什么呢？搜集整理了一些资料，作为学习笔记。
一、什么是PCIe？
PCIe,Peripheral Component Interconnect Express，直译“快速周边组件互连”，是一种高速串行通信互联标准。
串行，就是每次传输一个位元数据，并连续进行以上过程的通信方式。通俗理解，食堂里，大家排队一个一个打饭。
台式电脑里面就有PCIe插槽，大家应该熟悉，用来插显卡、网卡等，相对应的卡就叫PCIe卡。
下面这个是A100的PCle卡。
装上8张PCle卡服务器是这样的（广达/云达D52G-4U）。
PCIe 使用“通道”来传输接收数据，因此通道越多（插槽越长），带宽就越大，“x4”表示4个通道，“x16”表示16个通道。
下面是各个PCIe版本的带宽。
A100有PCIe和SXM两种版本。PCIe版本支持4.0X16，对应传输速度是32GB/S（上图圆圈处）。
但是我们看A100说明书，写的却是64GB/S，不是32GB/S？其实，他这里算的是双向通信带宽，每个方向32GB/S。
PCIe卡主要通过PCle插槽连接GPU和CPU。如下图，两张GPU通过PCle Switch(PCle交换机)和CPU连接。
但是这样速度太慢了（64GB/S），而且两张CPU之间不能互联，怎么办呢？
2018年，英伟达推出P100 GPU时，一起发布了NVLink（高速互联技术），实现两张以及更多GPU和GPU之间高速连接。
（重申，PCIe卡主要用于连接GPU和CPU，NVLink主要用于连接GPU和GPU）
目前，NVLink发展到了第四代，速度最高900GB/S。A100用的是第三代，速度600GB/S，比原来PCle卡要快10倍。
于是，我们看到PCle卡可以优化一下，两个GPU之间加一个NVLink，再通过PCle插槽连接到GPU。
但这样，PCle卡还是有一个问题，只能实现连接2张GPU直连。
比如，GPU 1 仅直接连接到 GPU 2，GPU 3 仅直接连接到 GPU 4，以此类推。GPU 1 和除了2之外的其他均不直接连接，因此只能通过 PCIe 通道连接到CPU，再从CPU绕道去其他GPU。
还是A100为例，说明书确实写着只能桥接2张GPU，速度600GB/S，SXM版本则没写限制。
二、SXM是什么？
SXM全称是Scalable Module，直译“可扩展模块”。这是一种高带宽Socke(接口)解决方案，用于连接英伟达的多张GPU。
对比看PCle卡和SXM卡，可以看到，PCle卡有插的针脚（露出部分），SXM卡是直接印在电路板上，通过多对导线连接。
下面是8个芯片，SXM插槽接口的电路板。
下图是8卡互联拓扑图，每张卡通过NVSwitch（NV交换机，下方）互换数据，再通过4个PCle交换机（中间）连接2个GPU（上方）。
总结来说，由于SXM可以连接多张卡，所以多数用在DGX系统，也就是一台封装好的服务器。20台或更多DGX可以组装成DGX SuperPOD™，部署一个数据中心。
除了实现多张GPU互联，SXM卡还有一个优势，无需外部电源。它采取了双插槽卡设计，在传送数据的同时供电（PCIe卡需要）。
这样冷却效率更高，GPU得以更高热功耗运行。另外，减少布线也使得组装和维修更容易，减少了可能的故障点。
还是A100为例，下图看到SXM（右）功耗支持400瓦，高于PCle（左）300瓦。
到这里，我们大概明白PCIe卡为什么不能用于大模型训练了。
总结，主要是在传输速度方面。
以A100为例，PCle插槽传输速度只有64GB/S，SXM由于使用NVLink技术，最高可以达到600GB/S，是前者10倍。
当然，只有两张卡时，由于PCle卡也可以NVLink，效果和SXM一样。但是多张卡互联时，SXM的优势就体现出来了，H100互联速度比A100还高，达到了900GB/S。
之前美国限制A100和H100，就是觉得传输速度太高（还有一个是计算精度），后来英伟达推出了卖给我们的阉割版A800和H800，算力和A100和H100是一样的，但是速度限制在400GB/S，千卡互连时，只能发挥一半作用。
大模型要处理的数据巨大无比，决定了只能用SXM卡训练，如果用PCle卡后果不堪设想
我会在 公众号：海涵财经 每天更新最新的数字经济、ChatGPT、AI算力、CPO/硅光芯片、大数据、6G卫星、数据要素、医疗新基建、一体化压铸、 汽车智能化，激光雷达，HUD，车规芯片，空气悬挂、L3级智能驾驶、PET铜箔，纳电池，800V高压，光伏HJT、TOPCON、钙钛矿、光伏XBC、BIPV、IGBT芯片、碳化硅SIC、CTP/CTC/CTB电池、4680电池、工业母机、海风柔直高压、新能源车高压快充、高镍三元、碳纤维、PET铝箔、PET铜箔、空气源热泵、新材料、中药创新药、中药配方颗粒、乡村振兴、锂矿、钒液流电池、钠离子电池、分布式储能、集中式储能、抗原检测等最新题材热点挖掘，未来属于高预期差的结构性市场，把握核心赛道以及个股的内在价值逻辑预期差才是根本所在。
— END —
先赞后看，养成习惯
免责声明：图片、数据来源于网络，转载仅用做交流学习，如有版权问题请联系作者删除
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/60163.html
