Hao AI Lab di Universitas California, San Diego, baru-baru ini mengintegrasikan sistem NVIDIA DGX B200 ke dalam infrastruktur penelitiannya. Sistem AI canggih ini bertujuan untuk meningkatkan penelitian lab tentang inferensi model bahasa skala besar (LLM). Di bidang ini, banyak platform produksi, termasuk NVIDIA Dynamo, telah mengadopsi konsep penelitian Hao AI Lab, seperti DistServe.

Akses laboratorium ke DGX B200, yang terpasang di San Diego Supercomputer Center, membuka kemungkinan penelitian baru bagi komunitas UC San Diego. Asisten Profesor Hao Zhang dari Harithiogul Institute for Data Science menekankan bahwa kinerja sistem yang luar biasa akan secara signifikan mempercepat pembuatan prototipe dan eksperimen. Proyek-proyek Current ini yang memanfaatkan DGX B200 meliputi FastVideo, yang bertujuan untuk menghasilkan video pendek dengan cepat dari perintah teks, dan Lmgame-bench, sebuah rangkaian benchmark yang menguji LLM menggunakan game populer seperti Tetris dan Super Mario Bros.

Selain proyek-proyek ini, Hao AI Lab sedang meneliti cara untuk mengurangi latency dalam layanan LLM, dengan tujuan meningkatkan responsivitas model secara real-time. Mahasiswa PhD Junda Chen menekankan fokus lab pada pemanfaatan kemampuan DGX B200 untuk mendorong batasan layanan LLM dengan latensi rendah.

Konsep inferensi terpisah, yang dipelopori oleh tim DistServe, juga menjadi fokus utama laboratorium kami. Pendekatan ini mengoptimalkan throughput sistem sambil mempertahankan latency permintaan pengguna yang rendah dan memperkenalkan metrik kinerja baru yang disebut "goodput," yang memperhitungkan biaya dan kualitas layanan, menghasilkan sistem penyajian LLM yang lebih efisien dan ramah pengguna. Penelitian kami tentang pemisahan prefill/decode telah menunjukkan bahwa mengisolasi proses ini ke GPU yang berbeda dapat memaksimalkan goodput, memfasilitasi penskalaan beban kerja tanpa mengorbankan kualitas respons.

Hao AI Lab berkolaborasi dengan berbagai departemen di UC San Diego, termasuk perawatan kesehatan dan biologi, untuk lebih memanfaatkan kekuatan sistem NVIDIA DGX B200. Upaya ini merupakan bagian dari usaha yang lebih luas untuk mengeksplorasi bagaimana platform AI dapat mendorong penelitian dan inovasi lintas disiplin.