Meta telah mengumumkan model bahasa vision seri Llama 3.2 terbaru. Model ini menawarkan versi parameter 11B dan 90B untuk menangani input teks dan gambar. Juga diperkenalkan varian model bahasa teks saja yang lebih kecil dengan parameter 1B dan 3B. NVIDIA memanfaatkan beragam GPU, mulai dari unit pusat data berperforma tinggi hingga stasiun kerja RTX lokal hingga perangkat NVIDIA Jetson berdaya rendah, untuk memungkinkan penerapan model ini dengan kinerja yang efisien dan hemat biaya di seluruh dunia.

Llama 3.2 VLM dirancang untuk menangani berbagai panjang konteks dan gambar beresolusi tinggi, memberikan waktu respons cepat dan throughput tinggi untuk pengalaman pengguna yang lancar. Pengoptimalan komprehensif di seluruh rangkaian teknologi NVIDIA memainkan peran penting dalam mencapai metrik kinerja ini. SLM juga telah ditingkatkan agar berfungsi paling baik pada PC dan workstation NVIDIA RTX, dan dengan penyesuaian kuantisasi untuk dijalankan pada perangkat NVIDIA Jetson edge.

Kemajuan dalam throughput inferensi AI untuk model Llama 3.2 NVIDIA patut dicatat. Model ini mencakup vision encoder dan decoder teks, keduanya dioptimalkan untuk inferensi performa tinggi menggunakan pustaka TensorRT NVIDIA. Mekanisme perhatian silang dekoder teks memungkinkan VLM menghasilkan teks dengan konteks visual, sehingga meningkatkan efisiensi. NVIDIA juga telah mengembangkan resep kuantisasi pasca-pelatihan FP8 khusus yang, bila dikombinasikan dengan Tensor Cores FP8 generasi ke-4, akan meningkatkan throughput model dan mengurangi latensi tanpa mengorbankan akurasi.

Performa model Llama 3.2 pada platform NVIDIA sangat mengesankan, dengan pengukuran internal menunjukkan kemampuannya dalam skenario throughput maksimum dan latensi minimum. Hasil ini menyoroti performa luar biasa GPU NVIDIA H200 yang dioptimalkan dengan perangkat lunak TensorRT. Selain itu, di lingkungan Windows, Llama 3.2 SLM dioptimalkan untuk bekerja dengan ONNX Runtime Generative API dan memberikan kinerja throughput yang sangat baik pada GPU NVIDIA GeForce RTX 4090. Platform komputasi terakselerasi NVIDIA memungkinkan Anda membangun model berkinerja tinggi pada berbagai platform, mulai dari pusat data hingga stasiun kerja lokal, memenuhi kebutuhan perusahaan yang ingin menerapkan dan mewujudkan nilai dengan cepat.