Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAの高性能C++推論ランタイムであるTensorRT Edge-LLMの導入により、物理AIの進化は飛躍的に進展しています。このソフトウェアは、電力とレーテンシーの制約内で高精度な推論とリアルタイムのマルチモーダルインタラクションを可能にすることで、自律走行車やヒューマノイドロボットの機能を強化するように設計されています。最新リリースでは、NVIDIA DRIVE AGX ThorおよびNVIDIA Jetson Thorプラットフォームの基本機能が拡張され、高度なエッジアーキテクチャとNVIDIA Nemotronファミリーのオープンモデルに対する最適化されたサポートが導入されています。

TensorRT Edge-LLMがエッジにおけるエキスパート混合モデル（MoE）のサポートを完全に実現し、Qwen3 MoEなどのモデルを最適化することで、コンピューティングの効率性が再定義されつつあります。このアプローチにより、エッジデバイスは推論レーテンシーとコンピューティングフットプリントを低く抑えながら、より大規模なモデルの推論能力を活用できるようになります。この変化は、NVIDIA DRIVE AGX ThorやNVIDIA Jetson Thorなどのプラットフォームに高精度の推論を実装する上で極めて重要であり、開発者は電力とレーテンシーの制限を超えることなく、自律システムのインテリジェンスを強化できます。

TensorRT Edge-LLMは、NVIDIA Nemotron 2 Nanoのサポートも提供し、組み込みチップセット上で新たなクラスのSystem 2推論を実現します。これは、高度なAIアシスタントやロボット対話エージェントを開発する開発者にとって特に有益です。大規模な言語モデルをエッジに展開する際に発生するメモリとレーテンシーの課題を解決できるからです。ランタイムは、ハイブリッドレイヤーを高速化する最適化されたカーネルを提供し、デバイスのメモリ使用量を抑えながら、複雑なエッジ検索拡張生成パイプラインで大規模なコンテキストウィンドウの使用を可能にします。

TensorRT Edge-LLMは、推論機能に加え、ネイティブなマルチモーダルモデルとのインタラクションを実現するQwen3-TTSとQwen3-ASRをサポートし、エンドツーエンドの音声処理を効率化します。この最適化により、レーテンシーが削減され、チップ上で直接自然な音声合成が可能になり、ドライバーと自動運転車とのインタラクションが向上します。さらに、このランタイムは、物理AIとロボット工学向けに構築されたオープンな推論VLMであるCosmos Reason 2をサポートし、ヒューマノイドロボットが物理的な常識に基づいて推論し、リアルタイムで行動を計画することを可能にします。

NVIDIAは、システム2の論理的思考をエッジデバイスに組み込んだワークフローであるAlpamayo 1の導入準備も進めています。この技術革新により、自動運転車は単純な回帰分析を超えて、多様で高精度な将来の軌道を生成し、正確な軌道計画が可能になります。DRIVE Thor上で実用可能な低遅延を実現するAlpamayo 1は、自動運転車製造におけるエンドツーエンドのVLAモデルへの大きな転換点となります。

これらの進歩を活用したい開発者は、更新された TensorRT Edge-LLM GitHubリポジトリ、または最新の NVIDIA DriveOS リリースで、新機能とサンプルを確認できます。このランタイムは、次世代の自律走行マシンの構築における基盤となり、 Pythonへの依存を排除​​し、自動車およびロボットアプリケーションにおける予測可能なメモリ使用量を保証します。