Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、エッジコンピューティングにおける大規模言語モデル（LLM）とビジョン言語モデル（VLM）のパフォーマンスを向上させるために設計された、新しいオープンソースC++フレームワーク「TensorRT Edge-LLM」を発表しました。このフレームワークは、自動車およびロボティクス分野のリアルタイムアプリケーション向けに特化されており、NVIDIA DRIVE AGX ThorやNVIDIA Jetson Thorなどのプラットフォームにおける低レーテンシーと信頼性の高いオフライン動作のニーズに対応します。

TensorRT Edge-LLMは、最小限の依存関係と軽量設計を特徴としており、実稼働エッジアプリケーションに適した小さなリソースフットプリントを実現します。EAGLE-3投機的デコードやNVFP4量子化サポートといった高度な機能を備えており、これらの業界が直面する要求の厳しいリアルタイムユースケースに不可欠です。

複数の業界パートナーが既にTensorRT Edge-LLMを自社製品に組み込んでいます。Boschは、自然な音声インタラクションを備えたAI搭載コックピットの開発にTensorRT Edge-LLMを活用しており、ThunderSoftのAIBOXプラットフォームは、応答性の高い車内エクスペリエンスを実現するためにこのフレームワークを活用します。MediaTekもまた、車室内におけるAIおよびヒューマンマシンインターフェースアプリケーションの強化にTensorRT Edge-LLMを活用しています。

このフレームワークは、モデルのエクスポートからターゲットハードウェアでの推論実行まで、LLMおよびVLM推論の導入ワークフローを簡素化します。NVIDIA Jetsonエコシステムで利用可能になったことで、高度なAI機能をエッジに導入するための大きな一歩となります。開発者はGitHub経由でTensorRT Edge-LLMにアクセスし、提供されているドキュメントに従ってエッジコンピューティングソリューションに統合できます。