Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

CUTLASSは、一般行列乗算（GEMM）実装のための新しい階層システムを導入しました。これにより柔軟性が向上し、新しいNVIDIAアーキテクチャへのサポートが拡張されました。このモジュール型アプローチにより、ハードウェアとユーザーの要件に基づいてカスタマイズ可能な様々なハイパーパラメータの指定が可能になります。3.xシリーズにおけるこの再設計は、コードの可読性を向上させ、GEMM実装のカバレッジを最大化する、構成可能な直交ビルディングブロックのシステム構築に重点を置いています。

CUTLASS 3.xの階層設計は5つの異なるレイヤーで構成されており、各レイヤーは前のレイヤーの抽象化の合成ポイントとして機能します。これにより、ユーザーは高レベルレイヤーを利用して効率的なGEMM実装を実現することも、低レベルレイヤーを活用して高度なカスタマイズを行うこともできます。この設計はGPUの階層的ハードウェア設計と整合しており、他のGPUアプリケーションにも適しています。

CUTLASSのGEMMカーネル構築アプローチについては、同シリーズの2番目のブログ記事で詳しく説明しています。低レベルのCuTe抽象化を用いて空間マイクロカーネルを構築する方法について説明しています。これらのマイクロカーネルは、任意のインターリーブとタイル化が可能です。集合層は、アーキテクチャ固有の同期を用いて、これらのマイクロカーネルの実行を調整し、単一の出力タイルを計算します。

カーネル層は、問題空間全体をカバーし、集合体の作業をグリッド上に拡張します。一方、デバイス層はホスト側のセットアップとインターフェースを提供します。CUTLASSは、 GitHubのGEMM集合体フォルダで入手できる、様々な特化した集合体のメインループ実装とエピローグを提供しています。これらのコンポーネントは高度にカスタマイズ可能で、ユーザーはGEMMのメインループを正確に指定できます。

CUTLASSの設計哲学は、カスタマイズ可能なGEMM実装の作成において、構成可能性と直交性の重要性を重視しています。ライブラリの構造は、高いコード再利用性を備え、幅広く、かつ高度にカスタマイズ可能なGEMM実装を実現することを目指しています。この設計に興味のあるユーザーは、 GitHubでソフトウェアにアクセスしたり、ドキュメントを参照したり、開発者フォーラムに参加して詳細な議論に参加したりすることができます。