AI アプリケーションへの大規模言語モデル (LLM) の導入により、スケーラビリティを向上させ、レーテンシーを削減する分散推論フレームワークが開発されました。これらのフレームワークは、複数の GPU とノードにわたる計算負荷を管理するために、分散サービング、KV キャッシュ ローディング、ワイド エキスパート並列処理などのさまざまな手法を採用しています。たとえば、分散サービングでは、プレフィル フェーズとデコード フェーズを異なる GPU に分離し、それらの間で効率的なデータ転送が必要になります。KV キャッシュ ローディングは、特にマルチターン AI ワークロードで、ストレージを活用して拡張キャッシュを処理します。これは、以前の結果を再計算するのではなく、ストレージから取得することにより行います。ワイド エキスパート並列処理では、GPU 全体に「エキスパート」を分散するため、中間結果の転送には超低レイテンシの通信が必要です。

これらのサービスは継続的に稼働する可能性があり、動的な性質を持つため、ユーザーの需要に応じて変化するGPU使用率に適応し、障害発生時の回復力を確保できるシステムが必要です。これには、リカバリ期間中にスループットを低下させて稼働させる機能も含まれます。さらに、メモリ、ストレージ、コンピューティング能力といったハードウェアの多様性を考慮すると、通信技術とストレージ技術を統合し、様々なメモリおよびストレージ階層間で効率的なデータ移動を可能にするライブラリが必要です。

これらの課題に対処するため、NVIDIA Inference Transfer Library (NIXL) がオープンソースでベンダーに依存しないデータ移動ライブラリとして導入されました。NIXL は、異なるメモリおよびストレージ技術間でのデータ転送のための統合APIを提供することで、複雑な AI 推論フレームワークをサポートするように設計されています。RDMA、GPU 主導型ネットワーク、高度なクラウドストレージオプションなど、幅広い技術をサポートしています。NIXL はすでに複数の AI 推論フレームワークに統合されており、様々なクラウドサービスとの互換性を備えているため、汎用性とパフォーマンスが向上しています。

NIXLのアーキテクチャには、コア転送エージェントが含まれており、 APIを介して複数の転送バックエンドプラグインをサポートしています。メモリ登録、メタデータ交換、転送要求の作成と管理など、エージェント間のデータ転送を設定するための効率的なプロセスを提供します。ライブラリの設計により、動的なスケーリングが可能になり、オーバーヘッドが最小限に抑えられ、通信と計算の効率的なオーバーラップが実現します。NIXLには、システムの検証と最適化を支援するNIXLBenchやKVBenchなどのパフォーマンスベンチマークツールも含まれています。ライブラリはGitHubで公開されており、Linux環境をサポートし、C、 Python、Rustのバインディングを備えているため、開発者はNIXLをAI推論ワークロードに組み込むことができます。