Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、TensorRT LLMの機能であるAutoDeployのベータリリースを発表しました。AutoDeployは、推論エンジンの最適化プロセスを自動化することで、大規模言語モデル（LLM）のデプロイメントを簡素化します。AutoDeployを使用すると、開発者はPyTorchモデルを手動操作なしで最適化されたグラフに変換できるため、モデル開発からデプロイメントへの移行が効率化されます。

この新機能は、KVキャッシュ管理や演算融合といったタスクを自動化することで、トランスフォーマーモデルやハイブリッドビジョン言語モデルといった様々なLLMアーキテクチャに伴う複雑な処理に対応するように設計されています。このコンパイラ駆動型のワークフローにより、モデル作成者はモデル作成に集中でき、AutoDeployが推論特有の最適化を処理できます。

AutoDeployは、100種類以上のテキスト変換LLMを含む幅広いモデルをサポートし、ビジョン言語モデル（VLM）と状態空間モデル（SSM）の早期サポートを提供します。また、LlamaファミリーやNVIDIAのNemotron 3 Nanoなどのモデルに対して、パフォーマンスが最適化されたサポートも提供します。この機能はTensorRT LLMランタイムに統合されており、起動時にシームレスなモデル変換とデプロイメントが可能で、継続的なパフォーマンス向上も期待できます。

AutoDeployアーキテクチャは、PyTorchモデルから計算グラフをキャプチャして最適化し、一連の自動変換を適用することでパフォーマンスを向上させます。これには、マルチGPU推論のためのシャーディングと最適化されたカーネルの統合が含まれます。また、このシステムはランタイム統合も処理し、従来は多大な手作業を必要としていたスケジューリングやキャッシュ管理といった側面を管理します。

NVIDIAのAutoDeployは、Nemotron 3 NanoやNemotron-Flashといった複雑なモデルの迅速なデプロイメントと最適化を可能にすることで、既にその能力を実証しています。これらのモデルは数日以内にオンボードされ、最適化されました。これは、AutoDeployが迅速なデプロイメントを容易にし、様々なアーキテクチャで高い推論パフォーマンスを維持する能力を実証しています。関心のある開発者や貢献者は、AutoDeployのドキュメントとサンプルスクリプトを参照して、この機能の実験を開始できます。