NVIDIA Research Taiwan telah memperkenalkan pendekatan baru yang difokuskan pada perbaikan kesalahan yang umum ditemui dalam kompresi model. Metode yang disebut EoRA ini secara efektif mengurangi hilangnya akurasi yang terjadi selama kompresi model dengan menambahkan jalur residual peringkat rendah menggunakan aproksimasi peringkat rendah eigenspace. Metode ini sangat efektif untuk model bahasa yang besar, dan mencapai pengoptimalan bebas fine-tuning yang dapat dilakukan dengan cepat dengan data kalibrasi yang minimal.

EoRA mengungguli metode sebelumnya, terutama saat menangani model yang telah mengalami kompresi agresif seperti pemangkasan dan kuantisasi. Dalam pengujian yang melibatkan pembuatan bahasa dan tugas inferensi, EoRA menunjukkan peningkatan yang signifikan. Misalnya, dalam pengujian ARC-Challenge dengan model Llama3-8B yang dipangkas 2:4, metode ini mencapai peningkatan lebih dari 4,5%. Metode ini tetap tangguh bahkan dalam kuantisasi 3/4-bit, meminimalkan kehilangan akurasi dan menunjukkan kepraktisannya dalam berbagai aplikasi.

Proses di balik EoRA adalah memproyeksikan kesalahan terkompresi ke dalam ruang eigen dari aktivasi input setiap lapisan dan menerapkan dekomposisi nilai singular dalam ruang ini, yang memungkinkan kesalahan paling kritis ditangani dengan lebih akurat dan memanfaatkan daya ekspresif peringkat rendah model yang terbatas. Seluruh proses pengoptimalan hanya memerlukan waktu beberapa menit, menjadikan EoRA solusi yang hemat waktu untuk menyempurnakan model terkompresi.

EoRA telah diintegrasikan ke dalam pustaka GPTQModel sumber terbuka, yang memudahkan adopsi dan memungkinkan pengguna untuk meningkatkan kinerja model terkuantisasi dengan mudah. ​​Kemajuan ini diharapkan dapat membantu dalam penerapan jaringan saraf berskala besar yang efisien di berbagai bidang, seperti visi komputer dan Generative AI, sekaligus menjaga keseimbangan antara akurasi model dan efisiensi komputasi. Untuk informasi lebih lanjut tentang EoRA dan aplikasinya, silakan lihat sumber daya yang disediakan oleh NVIDIA.