NVIDIA baru-baru ini meluncurkan Jetson Generative AI Lab, sebuah platform yang dirancang untuk membantu pengembang mengeksplorasi potensi AI generatif di lingkungan dunia nyata menggunakan perangkat edge NVIDIA Jetson. Tidak seperti platform tertanam lainnya, Jetson dapat menjalankan model bahasa besar (LLM), transformator visi, dan difusi stabil pada kecepatan lokal dan interaktif, termasuk model Llama-2-70B di Jetson AGX Orin. Lab ini menyediakan tutorial dan sumber daya untuk menguji model dan aplikasi modern di Jetson, memungkinkan pengembang untuk fokus pada potensi AI generatif yang belum dimanfaatkan di dunia fisik. Jetson Generative AI Lab berfungsi sebagai pusat untuk menemukan model dan aplikasi AI generatif terbaru serta mempelajari cara menjalankannya di perangkat Jetson. Ketika bidang ini berkembang pesat, dengan LLM baru yang muncul hampir setiap hari dan kemajuan dalam perpustakaan kuantisasi yang mengubah tolok ukur dalam semalam, NVIDIA menyadari pentingnya menyediakan informasi terkini dan alat yang efektif. Lab ini menyediakan tutorial yang mudah diikuti dan container yang sudah dibuat sebelumnya. Kekuatan pendukung di balik lab ini adalah Jetson-containers, sebuah proyek sumber terbuka yang dirancang untuk membuat kontainer untuk perangkat Jetson. Saya membuat 100 kontainer dalam format CI/CD menggunakan GitHub Actions. Kontainer ini memungkinkan pengembang dengan cepat menguji model, pustaka, dan aplikasi AI terbaru di Jetson tanpa perlu repot mengonfigurasi alat dan pustaka yang mendasarinya. Jetson Generative AI Lab dan Jetson Containers memungkinkan pengembang untuk fokus mengeksplorasi kemungkinan AI generatif yang tak terbatas di lingkungan dunia nyata menggunakan Jetson. Lab ini juga memperkenalkan beberapa aplikasi AI generatif menarik yang berjalan pada perangkat NVIDIA Jetson. Ini termasuk webui difusi stabil A1111, yang menyediakan antarmuka ramah pengguna untuk Difusi Stabil yang dirilis oleh Stability AI, dan Oababooga, antarmuka web berbasis Gradio yang populer untuk menjalankan LLM di lingkungan lokal. Lab ini juga memperkenalkan Llamaspeak, aplikasi obrolan interaktif yang menggunakan NVIDIA Riva ASR/TTS langsung untuk memungkinkan percakapan verbal dengan LLM yang dijalankan secara lokal.