Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA のエンジニアは、明示的なプログラミングなしで GPU アテンション カーネルを生成するという課題に取り組むため、オープンソース AI の DeepSeek-R1 モデルを利用した実験を行いました。推論フェーズで追加の計算能力を活用することで、モデルは、場合によっては経験豊富なエンジニアが作成したカーネルを上回るカーネルを生成することができました。テスト時間スケーリングと呼ばれるこのアプローチは、最も効果的な結果を選択する前に複数の結果を検討することで AI のパフォーマンスを向上させます。

アテンションの概念は、大規模言語モデル (LLM) の進歩において極めて重要な役割を果たしており、AI が関連するデータ セグメントに集中して予測を強化し、隠れたパターンを発見できるようにしています。ただし、アテンション操作の複雑さは入力シーケンスの長さとともに増大するため、効率化と実行時の問題の回避のために最適化された GPU カーネルが必要になります。エンジニアは特定のタスクに対処するためにさまざまなアテンション バリアントを組み合わせることが多く、これらの最適化されたカーネルの作成がさらに複雑になります。

こうした複雑さに対処するため、NVIDIA のエンジニアは、DeepSeek-R1 モデルと NVIDIA H100 GPU で実行される検証ツールを組み合わせたワークフローを考案しました。手動プロンプトによって開始されるこの閉ループ システムは、生成された GPU コードを反復的に改良します。15 分間のプロセスにより、スタンフォード大学の KernelBench ベンチマークによると、すべてのレベル 1 の問題と 96% のレベル 2 の問題に対して数値的に正しいカーネルが作成されました。

NVIDIA の実験の結果は、テスト時間のスケーリングを活用することで、最適化された GPU カーネルの生成を大幅に改善できることを示しています。効果的なアテンション カーネルを自動的に生成する DeepSeek-R1 モデルの機能は、この新しい研究分野の可能性を示しています。より広範な問題で一貫して優れた結果を達成するにはさらなる作業が必要ですが、初期の結果は有望です。関心のある方は、DeepSeek-R1 NIM マイクロサービスで詳細をご確認ください。