Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA は、AI モデル エンジンのサイズを大幅に削減する重み除去エンジンを導入した TensorRT 10.0 のリリースを発表しました。実行コードから重みを除外するこれらのエンジンは、エンジン サイズを 95% 以上圧縮できます。このイノベーションにより、約 40 MB のリーン ランタイムを使用してエンド ユーザー デバイスで重みを再調整できるようになり、NVIDIA GeForce RTX および NVIDIA RTX GPU を使用するアプリケーションの展開プロセスが効率化されます。

重み除去エンジンは、ONNX モデルやその他のネットワーク定義をサポートするように設計されており、エンジン全体を再構築することなく重みを変更できます。この機能は、重みの重複を最小限に抑え、結果としてアプリケーションのバイナリ サイズを削減するため、複数の GPU SKU と最適化プロファイルが関係するシナリオで特に役立ちます。エンジンは、TensorRT のマイナー アップデート間で互換性を維持し、バージョン互換性のフラグを使用してビルドできるため、さらに有用性が高まります。

現在、一部のパートナーのみがアクセスできる TensorRT Cloud は、さまざまな NVIDIA GPU で重みを取り除いたエンジンを構築する機能を拡張します。NVIDIA TensorRT-LLM 用の重みを取り除いたエンジンの構築と再調整のサポートは、まもなく利用可能になる予定で、大規模言語モデル (LLM) の圧縮と効率がさらに向上します。

重みを取り除いたエンジンの構築と展開のプロセスでは、ビルド フェーズ中にモデルの重みを使用して最適化を行い、後で重みを再調整したときに一貫したパフォーマンスを確保します。シリアル化されると、これらのエンジンは、エンド ユーザーのデバイス上の ONNX ファイルから重みを使用して数秒で再調整できるため、TensorRT で知られている迅速な逆シリアル化の効率が維持されます。このアプローチにより、アプリケーションのサイズを増やすことなく、より多くの AI 機能をアプリケーションに組み込むことができるだけでなく、エンジンが将来の GPU 世代と前方互換性を保つことも保証されます。ソース：