Meta telah mengumumkan seri model bahasa visi Llama 3.2 terbarunya, yang menawarkan versi parameter 11B dan 90B yang menangani input teks dan gambar. Meta juga memperkenalkan varian model bahasa teks-hanya parameter 1B dan 3B yang lebih kecil. NVIDIA telah menyempurnakan model ini untuk kinerja yang efisien dan penerapan yang hemat biaya dalam skala global, memanfaatkan berbagai macam GPU, dari unit pusat data berkinerja tinggi hingga stasiun kerja RTX lokal dan bahkan perangkat NVIDIA Jetson berdaya rendah.

Llama 3.2 VLM dirancang untuk menangani berbagai macam panjang konteks dan gambar beresolusi tinggi, memberikan waktu respons yang cepat dan throughput yang tinggi untuk pengalaman pengguna yang lancar. Pengoptimalan yang komprehensif di seluruh tumpukan teknologi NVIDIA memainkan peran penting dalam mencapai metrik kinerja ini. SLM juga telah disempurnakan agar dapat berjalan secara optimal pada PC dan stasiun kerja NVIDIA RTX, dan dengan penyetelan kuantisasi agar dapat berjalan pada perangkat edge NVIDIA Jetson.

Kemajuan throughput inferensi AI pada model Llama 3.2 NVIDIA patut dicatat. Model ini menggabungkan encoder penglihatan dan dekoder teks, yang keduanya dioptimalkan untuk inferensi berperforma tinggi menggunakan pustaka TensorRT NVIDIA. Mekanisme perhatian silang dekoder teks memungkinkan VLM untuk menghasilkan teks dengan konteks visual, sehingga meningkatkan efisiensi. NVIDIA juga telah mengembangkan resep kuantisasi pasca-pelatihan FP8 khusus, yang, jika dikombinasikan dengan Tensor Core FP8 generasi ke-4, meningkatkan throughput model dan mengurangi latency tanpa mengurangi akurasi.

Performa model Llama 3.2 pada platform NVIDIA sangat mengesankan, dengan pengukuran internal yang menunjukkan kemampuannya dalam skenario throughput maksimum dan latency minimum. Hasil ini menyoroti performa luar biasa GPU NVIDIA H200 yang dioptimalkan dengan perangkat lunak TensorRT. Selain itu, di lingkungan Windows, Llama 3.2 SLM dioptimalkan untuk bekerja dengan ONNX Runtime Generative API, yang memberikan performa throughput yang unggul pada GPU NVIDIA GeForce RTX 4090. Platform komputasi terakselerasi NVIDIA memungkinkan pembangunan model berkinerja tinggi di berbagai platform, mulai dari pusat data hingga stasiun kerja lokal, yang menjawab kebutuhan perusahaan yang ingin menerapkan dan merealisasikan nilai dengan cepat.