NVIDIA mengumumkan pembaruan pada RTX AI Toolkit yang meningkatkan performa model AI yang disempurnakan pada PC dan stasiun kerja RTX. Toolkit ini sekarang mendukung penggunaan beberapa adaptor Low Rank Adaptive (LoRA) dalam perpustakaan akselerasi AI TensorRT-LLM, yang dapat meningkatkan performa model hingga 6x. Kemajuan ini memungkinkan pengembang untuk menyesuaikan model bahasa skala besar (LLM) secara lebih efisien untuk aplikasi tertentu, seperti dialog video game atau respons asisten digital.

Menyesuaikan LLM penting bagi pengembang untuk memenuhi kebutuhan aplikasi tertentu. Hal ini karena model ini awalnya dilatih pada kumpulan data yang sangat besar dan mungkin tidak memiliki konteks yang diperlukan untuk tugas tertentu. Dengan menyempurnakan model dengan data yang relevan, pengembang dapat mencapai keluaran yang lebih akurat dan sesuai konteks. RTX AI Toolkit memfasilitasi proses ini dengan memungkinkan penggunaan beberapa adaptor LoRA secara bersamaan, memungkinkan berbagai proses penyesuaian terjadi secara bersamaan tanpa memerlukan beberapa model, yang tidak praktis karena keterbatasan memori GPU.

Kemampuan penyajian multi-LoRA yang diperkenalkan oleh NVIDIA merupakan peningkatan besar bagi pengembang yang bekerja dengan model AI. Dengan menghubungkan adaptor LoRA yang berbeda, satu model dasar dapat digunakan untuk beberapa kasus penggunaan. Setiap adaptor memberikan detail spesifik yang diperlukan untuk tugas berbeda. Pendekatan ini tidak hanya menjaga jejak memori tetap rendah, namun juga memaksimalkan efisiensi GPU dengan memproses beberapa panggilan secara paralel. Hasilnya, pengembang dapat memanfaatkan kekuatan GPU NVIDIA untuk dengan cepat melakukan iterasi dan meningkatkan keluaran berbasis AI, seperti teks dan gambar, untuk aplikasi mereka.

Pembaruan terkini pada perangkat RTX AI NVIDIA menyoroti semakin pentingnya LLM dalam lingkungan AI. Dengan kemampuan untuk mempercepat kinerja model dan menyederhanakan proses penyesuaian, pengembang kini dapat membuat aplikasi AI yang kuat dan disesuaikan dengan lebih baik. Dukungan Multi-LoRA diharapkan semakin mendorong adopsi dan integrasi LLM di seluruh industri guna memenuhi permintaan yang terus meningkat akan solusi AI khusus aplikasi yang canggih.