NVIDIA menekankan pentingnya pergerakan data yang efisien dalam infrastruktur AI, menyoroti tantangan yang dihadapi perusahaan seiring dengan semakin kompleksnya sistem AI berbasis agen. Sistem ini membutuhkan transfer data yang cepat dan cerdas untuk mendukung pengambilan keputusan secara real-time, sehingga optimalisasi jaringan GPU-ke-GPU dan Utara-Selatan menjadi penting. Arsitektur Referensi Perusahaan (Enterprise RA) NVIDIA menyediakan panduan penerapan untuk pabrik AI yang secara efektif memanfaatkan jaringan Utara-Selatan, menghadirkan solusi yang skalabel, aman, dan berkinerja tinggi.

NVIDIA telah menyoroti peran NVIDIA Spectrum-X Ethernet dalam meningkatkan aliran data Utara-Selatan, terutama untuk aplikasi AI intensif data yang menggunakan DPU NVIDIA BlueField-3. Jaringan penyimpanan Ethernet tradisional sering mengalami latency dan kongesti, sehingga tidak mampu memenuhi tuntutan beban kerja AI dan HPC yang semakin cepat. Solusi NVIDIA bertujuan untuk mengatasi masalah ini dengan memfasilitasi penyimpanan dan perpindahan data tanpa kehilangan data, mengoptimalkan alur kerja AI, dan meningkatkan kinerja.

Pendekatan jaringan terpadu NVIDIA menyederhanakan fondasi beban kerja AI perusahaan dengan mengkonsolidasikan lalu lintas timur-barat dan utara-selatan ke dalam jaringan switch terpadu. Desain ini mengurangi kompleksitas dan memastikan kinerja yang konsisten di berbagai beban kerja. Inti dari RA perusahaan adalah Spectrum-X Ethernet, yang memanfaatkan perutean adaptif dan telemetri untuk mendukung kedua jenis lalu lintas, menghindari kemacetan, dan meningkatkan throughput. Fitur-fitur seperti perutean virtual dan kualitas layanan (QoS) semakin memungkinkan prioritas lalu lintas yang efisien dan isolasi derau untuk operasi AI yang bersamaan.

NVIDIA juga membedakan peran NVIDIA Ethernet SuperNIC dan DPU BlueField-3 dalam jaringan AI. SuperNIC dirancang khusus untuk lalu lintas timur-barat, menyediakan bandwidth tinggi untuk pelatihan dan inferensi terdistribusi. Sementara itu, DPU BlueField-3 mengelola lalu lintas utara-selatan, mengalihkan tugas dari CPU host. Kombinasi ini memungkinkan perusahaan untuk memaksimalkan kinerja infrastruktur AI mereka. Solusi NVIDIA, termasuk RAG 2.0 Blueprint, menunjukkan dampak jaringan utara-selatan yang efisien terhadap akuisisi data dan pengambilan keputusan secara real-time, yang menyoroti nilai jaringan yang dioptimalkan dalam meningkatkan operasi bisnis dan pengalaman pengguna.