正文
背景简介
由PD分离得知NVLink概念的。由于Prefill和Decode阶段的特性差异,需要使用不同特性的GPU,因此将传统的解码阶段中的PD进行分离,分别构建Prefill集群和Decode集群。集群之间的通讯需要使用高速网络,NVIDIA设备就是NVLink。
PCIe
PCIe (PCI Express) 总线通信是现代计算机系统的默认标准。 在主板上是以PCIe插槽形象出现。能够实现同一主板上,所有PCIe插槽设备之间的通讯,包含CPU、GPU、内存等等。
PCIe更像是一种标准、协议。

NVLink
高端NVIDIA显卡上除了PCIe通讯,还有专门的 NVLink 接口,用于与其他支持 NVLink 的 GPU 或系统进行通信。 在支持 NVLink 的高端 GPU 上,这PCIe和NVLink两种技术是共存的。

NVLink 不是软件,它是一种硬件技术。
PCIe 就像是你电脑里的一条必经之路,所有设备都要通过它才能和 CPU 交流。
而 NVLink 则是一条专为 GPU 之间铺设的“特快专线”。