Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA は、自動運転車に使用される DRIVE AGX プラットフォーム上で大規模言語モデル (LLM) とビジョン言語モデル (VLM) を最適化するためにカスタマイズされた新しいソフトウェア開発キット (SDK) を発表しました。NVIDIA TensorRT 推論エンジン上に構築された DriveOS LLM SDK は、リソースが限られていることが多い自動車プラットフォーム上でこれらの高度なモデルの展開を容易にすることを目的としています。

SDKには、LLM の推論プロセスを効率化するように設計された一連のコンポーネントが含まれています。これには、カスタム アテンション カーネルを備えたプラグイン ライブラリ、効率的なトークナイザー/デトークナイザー、テキスト生成タスク用の CUDA ベースのサンプラー、テキスト シーケンスを生成するためのデコーダーが含まれます。これらのツールは、低レーテンシーと高パフォーマンスのニーズのバランスを取りながら、LLM を自動車プラットフォームに効率的に展開できるように作成されています。

DriveOS LLM SDK は、さまざまな最先端の LLM をサポートしており、NVIDIA DRIVE AGX Orin および NVIDIA DRIVE AGX Thor プラットフォームと互換性があります。また、FP16、FP8、NVFP4、INT4 などの精度形式に柔軟性があり、さまざまなプラットフォームで大規模な LLM に対応し、メモリ使用量を削減します。SDKは、展開ワークフローを 2 つの主要なステップ、つまり ONNX モデルのエクスポートと TensorRT エンジンの構築に簡素化し、簡単なコマンドで実行できます。

DriveOS LLM SDK は、従来の LLM のサポートに加えて、マルチモーダル入力を伴うことが多い自動車アプリケーションの独自の要件にも対応します。Qwen2 VL モデルなどの VLM 用の特殊な推論モジュールとユーティリティが含まれており、視覚データとテキスト データの両方を効率的に処理できます。SDK の包括的なツールキットとユーザー フレンドリな展開プロセスは、自動車業界における AI 駆動型アプリケーションの機能を強化することを目的としています。