Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、CUDAカーネルにおける共有メモリレジスタのスピルを可能にする最適化機能をCUDA Toolkit 13.0に導入しました。この機能は、多数のレジスタを使用するカーネルのスピルレーテンシーとL2キャッシュ負荷を軽減することで、パフォーマンスを向上させることを目的としています。この機能は、PTXASプログラム全体コンパイルモードを使用する場合、すべてのプラットフォームで利用可能であり、開発者はCUDA 13.0以降でオプトインできます。

この最適化は、高コストレジスタを優先的に共有メモリにスピルすることで機能します。十分な共有メモリが利用できない場合、スピルはローカルメモリに戻されます。このアプローチでは、可能な場合は、スピルされた値を低レイテンシのオンチップメモリ​​に保存します。この機能はデフォルトでは有効になっていないため、開発者はカーネル定義でプラグマenable_smem_spillingインラインアセンブリを使用して有効化する必要があります。

従来、レジスタスピルは、デバイスのグローバルメモリ内にあるオフチップのローカルメモリに配置することで処理されていました。これにより、キャッシュラインの追い出しが発生し、特にレジスタ負荷の高い領域でパフォーマンスに悪影響を与える可能性がありました。新機能では、コンパイラはスピルに共有メモリを使用するように試みるため、アクセスレーテンシーが大幅に短縮され、パフォーマンスが向上します。

この機能を利用したい開発者は、CUDA 13.0以降を使用している必要があり、コード内のインラインアセンブリを通じて特定のPTXプラグマを追加することでこの機能を有効化できます。ただし、動的に割り当てられた共有メモリを使用するカーネルや、ワープ間でレジスタの動的な再割り当てを行うカーネルではこの機能の使用を避けるなど、考慮すべき制限事項があります。また、予測可能な動作とパフォーマンスの向上を確保するため、起動境界が明示的に定義されている場合にのみ、この最適化を使用することをお勧めします。