top of page
Generatif (Beta) |. Memberikan berita dan tren terkini dalam AI generatif
logo.png

NVIDIA Mengumumkan Model Bahasa Visi Llama 3.2

Generatived

24/11/20 4:30

Meta telah mengumumkan seri model bahasa visi Llama 3.2 terbarunya, yang menawarkan versi parameter 11B dan 90B yang menangani input teks dan gambar. Meta juga memperkenalkan varian model bahasa teks-hanya parameter 1B dan 3B yang lebih kecil. NVIDIA telah menyempurnakan model ini untuk kinerja yang efisien dan penerapan yang hemat biaya dalam skala global, memanfaatkan berbagai macam GPU, dari unit pusat data berkinerja tinggi hingga stasiun kerja RTX lokal dan bahkan perangkat NVIDIA Jetson berdaya rendah.

Llama 3.2 VLM dirancang untuk menangani berbagai macam panjang konteks dan gambar beresolusi tinggi, memberikan waktu respons yang cepat dan throughput yang tinggi untuk pengalaman pengguna yang lancar. Pengoptimalan yang komprehensif di seluruh tumpukan teknologi NVIDIA memainkan peran penting dalam mencapai metrik kinerja ini. SLM juga telah disempurnakan agar dapat berjalan secara optimal pada PC dan stasiun kerja NVIDIA RTX, dan dengan penyetelan kuantisasi agar dapat berjalan pada perangkat edge NVIDIA Jetson.

Kemajuan throughput inferensi AI pada model Llama 3.2 NVIDIA patut dicatat. Model ini menggabungkan encoder penglihatan dan dekoder teks, yang keduanya dioptimalkan untuk inferensi berperforma tinggi menggunakan pustaka TensorRT NVIDIA. Mekanisme perhatian silang dekoder teks memungkinkan VLM untuk menghasilkan teks dengan konteks visual, sehingga meningkatkan efisiensi. NVIDIA juga telah mengembangkan resep kuantisasi pasca-pelatihan FP8 khusus, yang, jika dikombinasikan dengan Tensor Core FP8 generasi ke-4, meningkatkan throughput model dan mengurangi latency tanpa mengurangi akurasi.

Performa model Llama 3.2 pada platform NVIDIA sangat mengesankan, dengan pengukuran internal yang menunjukkan kemampuannya dalam skenario throughput maksimum dan latency minimum. Hasil ini menyoroti performa luar biasa GPU NVIDIA H200 yang dioptimalkan dengan perangkat lunak TensorRT. Selain itu, di lingkungan Windows, Llama 3.2 SLM dioptimalkan untuk bekerja dengan ONNX Runtime Generative API, yang memberikan performa throughput yang unggul pada GPU NVIDIA GeForce RTX 4090. Platform komputasi terakselerasi NVIDIA memungkinkan pembangunan model berkinerja tinggi di berbagai platform, mulai dari pusat data hingga stasiun kerja lokal, yang menjawab kebutuhan perusahaan yang ingin menerapkan dan merealisasikan nilai dengan cepat.

Bagikan artikel ini:

Berita terkini
Memperkenalkan Agen AI Spicecode

Memperkenalkan Agen AI Spicecode

24/12/13 4:30

Spicecode (Chuo-ku, Tokyo) mengumumkan akan menyediakan fungsionalitas agen AI untuk layanan ERP-nya "Locale Order for B2B" mulai paruh pertama tahun 2025.

Riset Pasar Generative AI Aung Consulting

Riset Pasar Generative AI Aung Consulting

24/12/13 4:30

Aung Consulting (Chiyoda-ku, Tokyo) menyelidiki volume pencarian untuk Generative AI di 18 negara dan wilayah di seluruh dunia.

OSIRO meluncurkan komunitas AI

OSIRO meluncurkan komunitas AI

24/12/13 4:30

OSIRO (Shibuya-ku, Tokyo) telah mengumumkan akan meluncurkan "Linear," sebuah komunitas daring yang diselenggarakan oleh konsultan AI/ Digital Transformation Yosuke Kurashima, pada platform "OSIRO".

Fitur baru ditambahkan ke Narasi Obrolan Penuh CLINKS

Fitur baru ditambahkan ke Narasi Obrolan Penuh CLINKS

24/12/13 4:30

CLINKS (Chuo-ku, Tokyo) mengumumkan telah menambahkan fungsi baru ke layanan obrolan Generative AI perusahaannya, Narreful Chat.

Copyright © 2024 Generatived - All right Reserved.

Bagikan artikel ini:

Bagikan artikel ini:

Generatived

Ikuti kami

  • Facebook
  • X

Bahasa

Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.

Generatived AI Logo

Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.

  • Facebook
  • X

Ikuti kami

Bahasa

Berita terkini
Memperkenalkan Agen AI Spicecode

Memperkenalkan Agen AI Spicecode

24/12/13 4:30

Spicecode (Chuo-ku, Tokyo) mengumumkan akan menyediakan fungsionalitas agen AI untuk layanan ERP-nya "Locale Order for B2B" mulai paruh pertama tahun 2025.

Riset Pasar Generative AI Aung Consulting

Riset Pasar Generative AI Aung Consulting

24/12/13 4:30

Aung Consulting (Chiyoda-ku, Tokyo) menyelidiki volume pencarian untuk Generative AI di 18 negara dan wilayah di seluruh dunia.

OSIRO meluncurkan komunitas AI

OSIRO meluncurkan komunitas AI

24/12/13 4:30

OSIRO (Shibuya-ku, Tokyo) telah mengumumkan akan meluncurkan "Linear," sebuah komunitas daring yang diselenggarakan oleh konsultan AI/ Digital Transformation Yosuke Kurashima, pada platform "OSIRO".

Fitur baru ditambahkan ke Narasi Obrolan Penuh CLINKS

Fitur baru ditambahkan ke Narasi Obrolan Penuh CLINKS

24/12/13 4:30

CLINKS (Chuo-ku, Tokyo) mengumumkan telah menambahkan fungsi baru ke layanan obrolan Generative AI perusahaannya, Narreful Chat.

bottom of page