Sarvam AI, sebuah startup AI yang berbasis di Bengaluru, India, telah memulai proyek ambisius untuk membangun model dasar multibahasa skala besar guna memenuhi kebutuhan linguistik yang beragam di India. Perusahaan ini bermitra dengan NVIDIA untuk meningkatkan kinerja model Sovereign 30B-nya, dengan tujuan memenuhi target latensi yang ketat dan meningkatkan efisiensi inferensi. Kolaborasi ini menghasilkan peningkatan kecepatan inferensi 4x pada GPU Blackwell NVIDIA dibandingkan dengan kinerja dasar pada GPU NVIDIA H100.

Melalui upaya rekayasa bersama antara Sarvam AI dan NVIDIA, perusahaan ini berhasil mengembangkan model dasar yang mendukung 22 bahasa India, bahasa Inggris, matematika, dan kode. Model-model ini dioptimalkan menggunakan platform AI data-to-deployment NVIDIA, yang memberikan kinerja tinggi dan kemampuan AI yang terlokalisasi. Kemitraan ini juga menghasilkan keluarga baru model dasar Sovereign yang dilatih dengan pustaka Nemotron NVIDIA, termasuk kerangka kerja NeMo dan NeMo-RL.

Model Sarvam AI menggunakan arsitektur Mixture-of-Experts (MoE) yang dirancang untuk pembacaan mendalam dan kepadatan bahasa. Model Sarvam 30B memiliki kedalaman 19 lapisan dengan 128 pakar, sedangkan model Sarvam 100B dapat diskalakan hingga 32 lapisan. Kedua model tersebut memiliki desain pakar yang sama untuk menangani karakteristik umum dan tugas-tugas khusus. Kolaborasi ini berfokus pada pengoptimalan model-model ini untuk GPU Hopper dan Blackwell NVIDIA guna mengatasi tantangan pengiriman layanan unik mereka.

Proses pengoptimalan untuk model Sarvam 30B tidak hanya mempertimbangkan peningkatan kecepatan mentah tetapi juga memaksimalkan kepadatan dalam batasan latensi yang ketat. Tim menetapkan perjanjian tingkat layanan (SLA) agen suara-ke-suara yang menargetkan waktu ke token pertama (TTFT) persentil ke-95 kurang dari 1000 milidetik dan latensi antar-token (ITL) kurang dari 15 milidetik. Analisis kinerja awal dilakukan menggunakan mesin inferensi SGLang, yang mengelola cache KV sebagai pohon radix, komponen kunci dari arsitektur Sarvam 30B. Tim tersebut mengimplementasikan model tersebut pada dua GPU NVIDIA H100 SXM, menyeimbangkan kebutuhan memori dan komputasi lapisan MoE.

Analisis kinerja mengungkapkan bahwa optimasi yang lebih dalam diperlukan untuk memenuhi SLA. Tim tersebut mengidentifikasi hambatan pada rentang konkurensi permintaan 32-64 dan menangkap jejak eksekusi menggunakan NVIDIA Nsight Systems. Dengan menargetkan kernel yang paling mahal untuk optimasi, mereka mengurangi waktu lapisan transformer sebesar 34%. Lebih lanjut, penjadwalan pra-isi dan dekode campuran meningkatkan pemanfaatan GPU, dan penyajian terdistribusi menghilangkan hambatan jalur kritis, menghasilkan peningkatan throughput sebesar 1,5 kali lipat.

Peningkatan kinerja ujung-ke-ujung dicapai melalui optimasi kernel, penjadwalan yang efisien, dan penyajian terdistribusi. Kinerja model Sarvam 30B pada GPU NVIDIA Blackwell mencapai hingga 20 petaflops kinerja komputasi FP4 puncak dan bandwidth memori 8TB/s, menunjukkan potensi arsitektur NVIDIA Blackwell untuk mempercepat AI generatif. Kuantisasi model ke format NVFP4 menggunakan NVIDIA Model Optimizer menghasilkan peningkatan throughput penyajian inferensi hingga 4x pada titik operasi tertentu.

Kolaborasi Sarvam AI dengan NVIDIA menunjukkan potensi pengoptimalan bersama desain model, rekayasa kernel, strategi penjadwalan, kuantisasi, dan arsitektur GPU. Hasilnya adalah tumpukan inferensi yang lebih cepat, layak secara ekonomi, dan dapat digunakan secara nasional yang dapat diskalakan untuk beban kerja tingkat nasional. Pendekatan ini berfungsi sebagai cetak biru bagi tim lain yang membangun sistem AI skala besar dan tingkat produksi pada platform NVIDIA.