Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

大規模言語モデル（LLM）を扱う機械学習エンジニアは、しばしば大きな課題に直面します。モデルのコンテキスト長が長くなるにつれて、アテンションメカニズムに関連する計算コストが急増するのです。この問題に対処するため、Skip Softmaxという新しい手法が導入されました。この手法は、再学習を必要とせずに推論時間を高速化します。NVIDIA TensorRT-LLMと互換性のあるこの手法は、最初のトークンまでの時間と出力トークンあたりの時間の両方において、最大1.4倍の推論速度を実現します。

Skip Softmaxは、LLMにおける注目点の本質的なスパース性を利用し、注目点ブロックを動的に刈り込むことで動作します。ブロックの最大ロジットを計算し、それをグローバル最大値と比較することで、最終出力への寄与が無視できるブロックをスキップすることができます。このプロセスは計算リソースを節約するだけでなく、メモリからデータをロードする必要性を減らし、ハードウェアをより効率的に利用できるようにします。

Skip Softmaxの利点は、既存の事前学習済みモデルとの互換性、そしてNVIDIA HopperおよびBlackwell GPUのテンソルコアとメモリ階層への最適化にまで及びます。XAttentionなどの他の最適化手法と併用することで、精度を犠牲にすることなくパフォーマンスをさらに向上させることができます。この手法は、コンテキスト長が長いシナリオにおいて特に有効であり、LLM推論のプリフィルフェーズとデコードフェーズの両方で計算負荷を大幅に軽減できます。

Skip Softmaxを実装するには、NVIDIA TensorRT-LLM内のLLM APIのスパースアテンション設定を利用できます。この手法はNVIDIAのデータセンターGPUでサポートされており、簡単な設定変更で有効化できます。さらに詳しい情報にご興味のある方は、BLASST: Dynamic Blocked Attention Sparsity via Softmax ThresholdingやTensorRT-LLMのドキュメントなどのリソースをご覧ください。これらのリソースは、この手法とその応用に関する詳細な情報を提供します。