NVIDIA membuat pengumuman besar pada konferensi Supercomputing 2024, memperkenalkan anggota baru keluarga Hopper, GPU NVIDIA H200 NVL PCIe. Inovasi terbaru ini disesuaikan untuk pusat data yang memprioritaskan solusi pendingin udara berdaya rendah dan memerlukan konfigurasi fleksibel untuk menangani berbagai beban kerja AI dan HPC. NVL H200 dirancang agar sesuai dengan rak perusahaan yang ada, memberikan solusi terukur dari 1 hingga 8 GPU tergantung pada kebutuhan komputasi Anda.

Perusahaan menyoroti bahwa GPU NVL H200 tidak hanya dapat mempercepat aplikasi AI dan HPC, tetapi juga meningkatkan efisiensi energi dengan mengurangi konsumsi daya. Dengan peningkatan seperti memori 1,5x dan bandwidth 1,2x dibandingkan pendahulunya, NVL H100, NVL H200 secara signifikan mempercepat tugas-tugas seperti menyempurnakan model bahasa besar dan meningkatkan kinerja inferensi. Untuk beban kerja HPC, GPU baru ini menawarkan peningkatan kinerja dibandingkan NVL H100 dan arsitektur NVIDIA Ampere generasi sebelumnya.

NVL H200 NVIDIA juga mendapat manfaat dari integrasi teknologi NVLink terbaru, yang memungkinkan komunikasi GPU-ke-GPU tujuh kali lebih cepat dibandingkan generasi PCIe sebelumnya. Peningkatan ini sangat penting untuk aplikasi yang menuntut dalam HPC dan AI, seperti inferensi dan menyempurnakan model bahasa skala besar. Selain itu, NVL H200 hadir dengan langganan 5 tahun ke NVIDIA AI Enterprise. Ini adalah platform perangkat lunak komprehensif yang mendukung pengembangan dan penerapan aplikasi AI, termasuk inferensi model AI yang aman, andal, dan berkinerja tinggi dengan layanan mikro NVIDIA NIM.

Dampak NVL H200 sudah terasa di berbagai industri, dan banyak perusahaan yang memanfaatkan kemampuannya untuk aplikasi mulai dari agen AI layanan pelanggan hingga pencitraan medis. Misalnya, Dropbox sedang mempertimbangkan NVL H200 untuk mendukung layanan manajemen kontennya, dan Universitas New Mexico berencana menggunakan GPU tersebut untuk mempercepat berbagai inisiatif penelitian. NVL H200 akan tersedia dalam berbagai konfigurasi dari perusahaan teknologi terkemuka, dan NVIDIA juga mengembangkan arsitektur referensi perusahaan untuk membantu mitra dan pelanggan membangun infrastruktur AI berkinerja tinggi menggunakan H200 Masu. Teknologi baru akan diperkenalkan di SC24 dan dijelaskan lebih lanjut dalam pembicaraan khusus dari NVIDIA.