Menurut Hussein Hazimeh, peneliti di tim Athena Google, dan Riade Benbaki, mahasiswa pascasarjana di MIT, kinerja jaringan saraf modern yang unggul sering kali mengorbankan sumber daya komputasi yang menuntut, yang dikatakan sulit untuk diperkenalkan. itu di lingkungan dengan batasan.
Untuk mengatasi masalah ini, Google memperkenalkan pendekatan CHITA (Combinatorial Hessian-free Iterative Thresholding Algorithm) untuk memangkas jaringan neural terlatih secara efisien tanpa mengurangi performa.

Penulis menjelaskan dalam makalah mereka bahwa pemangkasan melibatkan penghapusan bobot tertentu dari jaringan saraf untuk mengurangi kompleksitas komputasi sambil mempertahankan kegunaannya. CHITA menyediakan metode berbasis optimasi baru yang secara signifikan mengungguli pendekatan yang ada baik dari segi skalabilitas dan kinerja trade-off.

Pendekatan CHITA mencakup dua perbaikan penting:

Penggunaan informasi sekunder secara efisien: Metode tradisional sering kali mengandalkan matriks Hessian, yang secara komputasi mahal karena ukurannya yang besar. CHITA menggunakan informasi sekunder secara efisien tanpa secara eksplisit menghitung matriks Hessian, sehingga meningkatkan skalabilitas.

Pengoptimalan kombinatorial: Tidak seperti metode berbasis pengoptimalan tradisional yang memangkas bobot satu per satu, CHITA menggunakan pengoptimalan kombinatorial tingkat lanjut. Hal ini memastikan bahwa dampak pemangkasan satu beban pada beban lainnya diperhitungkan dan menghindari kemungkinan hilangnya beban penting.

Penulis mendeskripsikan formulasi CHITA yang menganggap pemangkasan sebagai masalah pemilihan subset terbaik, dengan tujuan mempertahankan bobot paling penting untuk meminimalkan kerugian. Dengan secara cerdik mengeksploitasi struktur peringkat rendah dari matriks informasi empiris Fisher, CHITA menggunakan informasi tersebut secara efektif sambil menghindari beban komputasi matriks Hessian.

Dalam hal skalabilitas dan akurasi, CHITA telah menunjukkan kemampuan unggulnya melalui eksperimen dengan berbagai arsitektur jaringan saraf. Misalnya, kami mendemonstrasikan percepatan lebih dari 1000x saat memangkas ResNet, dan akurasi pengujian kami mengungguli metode serupa di berbagai tingkat ketersebaran.