Kemajuan terbaru dalam teknologi AI telah secara signifikan meningkatkan daya tanggap model bahasa skala besar (LLM), yang penting untuk aplikasi yang memerlukan interaksi cepat, seperti bot suara dan asisten pengkodean. Metrik utama untuk peningkatan ini adalah waktu untuk token pertama (TTFT). Ini mengukur kecepatan sejak permintaan pengguna diterima hingga LLM mulai menghasilkan respons. Seiring berkembangnya LLM, kemampuannya untuk menangani kueri yang lebih panjang dalam lebih banyak konteks meningkat, dengan beberapa model kini mampu menangani masukan sepanjang sebuah novel.

NVIDIA mengumumkan GH200 NVL32, sistem baru yang memanfaatkan 32 Superchip Grace Hopper yang terhubung melalui sistem sakelar NVLink untuk meningkatkan kinerja TTFT. Sistem ini dirancang untuk memenuhi kebutuhan LLM modern, seperti keluarga Llama 3.1, yang mencakup model dengan hingga 405 miliar parameter. Dengan memanfaatkan pengoptimalan TensorRT-LLM, sistem GH200 NVL32 mencapai TTFT yang dipublikasikan paling cepat untuk model ini, bahkan pada konteks yang panjang.

Arsitektur sistem GH200 NVL32 memungkinkan sinkronisasi data yang efisien di beberapa GPU, yang merupakan faktor kunci dalam mempercepat TTFT. Hal ini sangat penting untuk model seperti Llama 3.1 405B, yang memerlukan daya komputasi yang signifikan karena banyaknya parameter. Struktur GPU-ke-GPU dengan bandwidth tinggi dan latensi rendah meminimalkan waktu sinkronisasi, mempercepat komputasi, dan meningkatkan pengalaman pengguna secara real-time.

Komitmen NVIDIA terhadap inovasi tidak hanya mencakup perangkat keras, karena perusahaan terus mengembangkan teknik dan optimalisasi baru untuk meningkatkan kinerja inferensi. Kemajuan ini membuat kemampuan AI yang kuat menjadi lebih mudah diakses dan hemat biaya, sehingga memberikan manfaat bagi ekosistem NVIDIA yang lebih luas, termasuk jutaan pengembang dan basis instalasi GPU yang luas. Ke depan, platform NVIDIA Blackwell GB200 NVL72 diharapkan dapat lebih meningkatkan kemampuan komputasi guna memenuhi permintaan yang terus meningkat akan AI generatif dan alur kerja agen yang kompleks.