Versi terbaru model AI Llama, Llama 4 Scout dan Llama 4 Maverick, telah diumumkan, dengan peningkatan kinerja yang signifikan. Didukung oleh perangkat lunak sumber terbuka NVIDIA, model ini dapat memproses lebih dari 40.000 token keluaran per detik saat berjalan pada GPU NVIDIA Blackwell B200. Saat ini, model ini tersedia untuk pengujian sebagai layanan mikro melalui NVIDIA NIM, yang memberikan gambaran sekilas tentang potensinya dalam berbagai aplikasi.

Kemajuan dalam Llama 4 mencakup kemampuan multimoda dan multibahasa asli dengan arsitektur pakar campuran. Dengan 109 miliar parameter dan 16 pakar, model Llama 4 Scout sangat cocok untuk menangani tugas-tugas seperti ringkasan multidokumen dan analisis aktivitas pengguna yang ekstensif. Sementara itu, dengan 400 miliar parameter dan 128 pakar, model Llama 4 Maverick unggul dalam pemahaman gambar dan teks berkinerja tinggi.

Kedua model tersebut disetel dengan baik untuk NVIDIA TensorRT-LLM, pustaka sumber terbuka yang dirancang untuk meningkatkan kinerja inferensi untuk model bahasa besar pada GPU NVIDIA. Pengoptimalan ini menghasilkan throughput yang luar biasa pada GPU Blackwell B200, dengan Llama 4 Scout mencapai lebih dari 40.000 token per detik dan Llama 4 Maverick mencapai lebih dari 30.000 token per detik.

Kolaborasi NVIDIA dengan Meta terus mendorong pengembangan model terbuka, mempromosikan transparansi AI, dan memungkinkan berbagai pengguna untuk berkontribusi pada keamanan dan ketahanan AI. Selain itu, kerangka kerja NeMo NVIDIA memudahkan penyempurnaan model Llama dengan data perusahaan dan menyederhanakan proses adaptasi model ini ke aplikasi AI. Untuk menyederhanakan penyebaran, NVIDIA NIM mengemas model Llama 4 sebagai layanan mikro, memastikan integrasi yang mudah ke dalam infrastruktur yang dipercepat GPU sambil menjaga privasi dan keamanan data.