Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

AI技術の最新の進歩は、大規模言語モデル（LLM）における複雑な注意機構を管理する必要性によって推進されています。人間のようなテキストの理解と生成に不可欠なこれらのモデルは、Multi-Head Latent Attention（MLA）やGrouped Query Attention（GQA）といった高度な注意機構への依存度が高まっています。これらのモデルの動作速度は、もはや処理能力だけでなく、注意スコアの正規化に不可欠な超越的な数学演算であるソフトマックス関数の効率にも左右されます。

ソフトマックス関数、特に自然指数関数への依存は、AI処理における大きな計算上のハードルとなっています。この関数は特殊関数ユニット（SFU）上で実行され、LLMのアテンション機構における重要なステップであり、アテンションスコアを正規化することで様々な情報の関連性を判断します。しかし、現在のAIシステムのアーキテクチャは、強力な行列エンジンがSFUのタスク完了を待つ必要があるため、ボトルネックとなることが多く、処理パイプライン全体に遅延が生じます。

この課題に対処するため、NVIDIAはBlackwell Ultraと呼ばれるアーキテクチャの強化版を導入しました。これにより、標準的なBlackwellアーキテクチャと比較してSFUスループットが2倍になります。この改良はソフトマックスボトルネックを克服するように設計されており、アテンション機構の処理効率を向上させ、全体的なパフォーマンスを向上させます。Blackwell Ultraアーキテクチャは、アテンションループのソフトマックスフェーズにおけるレーテンシーを削減することでこれを実現し、マトリックスエンジンのアイドル時間を最小限に抑え、アクティブな処理時間を最大化します。

Blackwell UltraアーキテクチャはAI処理に大きく貢献しており、ベンチマークでは様々な演算のスループットが大幅に向上しています。これは特にモデルの順方向伝播性能において顕著で、SFUスループットの向上により、アテンションブロック内のソフトマックス層の実行速度が向上します。その結果、順方向伝播全体の速度が向上し、AIシステムにおける線形計算だけでなく非線形数学演算の最適化も重要であることが実証されています。NVIDIAはハードウェアとソフトウェアの協調設計と最適化に継続的に注力しており、AIモデルとそのア​​プリケーションの能力をさらに向上させることが期待されます。