Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

CUTLASS 3.xの主要要素であるCuTeは、データレイアウトとスレッドマッピングを簡素化することで、カーネル開発者がTensorコア上でパフォーマンスを最適化する上で重要な役割を果たしてきました。しかしながら、CUTLASS 3.xではC++テンプレートを多用していたため、コンパイル時間が長くなっていました。AIワークフローにおけるPythonとJITコンパイルの利用が増加していることを踏まえ、開発者はこれらの課題に対処するためにCUTLASS 4を導入しました。

CUTLASS 4で新たに導入されたCuTe DSLは、CuTeの機能をPythonに拡張し、C++テンプレートメタプログラミングの複雑さを排除することで、GPUカーネル開発を容易にします。このドメイン固有言語（DSL）はCuTeと同じ基本原理を維持し、一貫性のあるAPIと様々なGPUチップで同等の効率性を提供しながら、C++と比較してコンパイル時間を大幅に短縮します。CuTe DSLの使用例はGitHubで公開されており、dense GEMM、grouped GEMM、Fused Multi-Head Attention（FMHA）への応用例が紹介されています。

CuTe DSLは、10年以上にわたりNVIDIA GPUアーキテクチャでCuTeの特徴となってきた堅牢なレイアウト表現と代数構造を維持しています。CuTe C++からCuTe DSLへの移行は開発者にとってシームレスで、主な違いはC++とPythonの構文にあります。この一貫性により、開発者はコンパイル時間を短縮し、CuTe DSLをPythonベースのディープラーニングフレームワークに容易に統合できます。

CuTe DSLのパフォーマンスは、複数世代のNVIDIA GPUでベンチマークされ、CUTLASS C++とほぼ同等のパフォーマンスを提供できることが実証されています。dense GEMM、grouped GEMM、FMHAなどの演算における初期テストでは有望な結果が示されており、継続的な最適化によりパフォーマンスがさらに向上すると期待されています。CuTe DSLはAmpereからBlackwellまで、NVIDIA GPUの世代をサポートしているため、様々な本番環境への適用が可能です。