Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA Research Taiwanは、モデル圧縮において一般的に発生する誤差を補正することに重点を置いた、新たなアプローチを発表しました。EoRAと呼ばれるこの手法は、固有空間低ランク近似を用いて低ランク残差パスを追加することで、モデル圧縮時に発生する精度低下を効果的に抑制します。この手法は特に大規模言語モデルに有効で、最小限のキャリブレーションデータで迅速に実行可能な、微調整不要の最適化を実現します。

EoRAは、特にプルーニングや量子化といった積極的な圧縮を受けたモデルを扱う際に、従来の手法よりも優れた性能を発揮しました。言語生成および推論タスクを含むテストにおいて、EoRAは大幅な改善を示しました。例えば、2:4プルーニングされたLlama3-8Bモデルを補正したARC-Challengeテストでは、4.5%以上の改善を達成しました。この手法は3/4ビット量子化下でも堅牢性を維持し、精度低下を最小限に抑え、様々なアプリケーションにおける実用性を示しています。

EoRAの背後にあるプロセスは、圧縮エラーを各層の入力アクティベーションの固有空間に投影し、この空間内で特異値分解を適用するというものです。これにより、最も重要なエラーがより正確に処理され、モデルの限られた低ランク表現力を最大限に活用できるようになります。最適化プロセス全体は数分で完了するため、EoRAは圧縮モデルを強化するための時間効率の高いソリューションとなります。

EoRAはオープンソースのGPTQModelライブラリに統合されているため、導入が容易になり、ユーザーは量子化モデルのパフォーマンスを容易に向上させることができます。この進歩は、コンピュータービジョンや生成AIなど、様々な分野における大規模ニューラルネットワークの効率的な展開を支援し、モデルの精度と計算効率のバランスを維持することが期待されます。EoRAとその応用に関する詳細については、NVIDIAが提供するリソースを参照してください。