Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

GoogleのAthenaチームの研究員であるHussein Hazimeh氏とMITの大学院生であるRiade Benbaki氏によると、最新のニューラルネットワークの優れたパフォーマンスは多くの場合、要求の高い計算リソースを犠牲にしており、リソースに制約のある環境での導入が困難になっているとのことだ。
この問題に対処するために、Googleは、パフォーマンスを損なうことなく、事前トレーニングされたニューラルネットワークを効率的にプルーニングするためのCHITA （Combinatorial Hessian-free Iterative Thresholding Algorithm） アプローチを導入した。

著者らは論文の中で、プルーニングには、有用性を維持しながら計算量を削減するためにニューラルネットワークから特定の重みを削除することが含まれると説明している。CHITAは、スケーラビリティとパフォーマンスのトレードオフの両方の点で既存のアプローチよりも大幅に優れた新しい最適化ベースの方法を提供する。

CHITAのアプローチには、次の2つの重要な改善が含まれている。

効率的な2次情報の使用：従来の方法ではヘッセ行列に依存することが多く、サイズが大きいため計算コストが高くなる。CHITAは、ヘッセ行列を明示的に計算せずに2次情報を効率的に使用するため、スケーラビリティが向上する。

組み合わせ最適化：重みを個別にプルーニングする従来の最適化ベースの手法とは異なり、CHITAは高度な組み合わせ最適化を採用している。これにより、ある重みを枝刈りした場合の他の重みへの影響が確実に考慮され、重要な重みが失われる可能性が回避される。

著者らは、損失を最小限に抑えるために最も重要な重みを維持することを目的として、枝刈りを最良のサブセット選択問題として見なすCHITAの定式化について説明する。経験的なフィッシャー情報行列の低ランク構造を巧みに利用することで、CHITAはヘッセ行列の計算負荷を回避しながら、その情報を効果的に利用する。

スケーラビリティーと精度の点で、CHITAはさまざまなニューラルネットワークアーキテクチャーの実験を通じてその優れた能力を示している。例えば、ResNetをプルーニングする場合は1000倍以上の高速化が実証され、そのテスト精度は、さまざまなスパースレベルで同等の方法を上回る。