在這個方案中，Grace CPU和Hopper GPU之間透過NVlink C2C進行連接; 但是超過256個GPU，更多GPU之間的連接，還是需要通過ConnectX-7 IB網(wǎng)卡或者BlueField-3 SuperNIC(可以視為智能網(wǎng)卡)進行連接，圖中采用的是InfiniBand網(wǎng)絡進行連接，如果你更加青睞以太網(wǎng)連接，也可以選用全新NVIDIA Spectrum-X 網(wǎng)絡平臺，該平臺包括 NVIDIA Spectrum-4交換機、BlueField-3 SuperNIC、以及加速軟件，其中 Spectrum-4與 BlueField-3 SuperNIC 緊密結合可以將AI 性能和能效提升 1.7 倍。
類似于CUDA對于GPU AI應用的重要性。與Spectrum-X 平臺配套的加速軟件和軟件開發(fā)套件(SDK)，以及BlueField SuperNIC 配套的 NVIDIA DOCA 軟件框架也發(fā)揮了非常重要的作用。其中，利用Spectrum-4交換機逐包數(shù)據(jù)分發(fā)、可編程擁塞控制，以及BlueField-3 SuperNIC的數(shù)據(jù)亂序重組的能力，Spectrum-X網(wǎng)絡平臺幫助用戶實現(xiàn)了端到端無損RoCE路由，以及多租戶不同工作負載的性能隔離。驅動 Spectrum-X 的加速軟件還包括 Cumulus Linux、純 SONiC 、NetQ 等，共同助力該網(wǎng)絡平臺實現(xiàn)極致性能。
對于生成式AI應用場景而言，這些能力至關重要，是影響效率的關鍵。
NVIDIA 網(wǎng)絡高級副總裁 Gilad Shainer 表示：“生成式 AI 等開創(chuàng)性技術的飛速發(fā)展，使每家企業(yè)都必須把網(wǎng)絡創(chuàng)新放在第一位，從而獲得競爭優(yōu)勢。NVIDIA Spectrum-X 是對以太網(wǎng)絡的一次革命，讓企業(yè)能夠充分利用其 AI 基礎設施的強大力量來改變其運營方式，甚至顛覆他們的行業(yè)?！?/p>
