Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA（米国カリフォルニア州）は、ローカル環境のアプリケーションへAIモデルをネイティブ組み込みするための開発サンプル群『Do Inference Now (DIN) Deploy』をオープンソースとして公開した。ONNX RuntimeとTensorRT RTXを組み合わせることで、モデルの変換からハードウェア加速までの工程をスムーズに繋ぐ仕組みとされる。

本取り組みでは、モデルの変換処理とアプリケーションの構築ロジックが分離されており、特定のランタイムに依存しない設計が採用された。音声認識モデル『Whisper』や『Nemotron ASR』をはじめ、画像分割モデル『SAM 2.1』や画像生成モデル『FLUX.2』といった多様なタスクがサポートされている模様である。

さらにグラフィックスAPIとの連携機能や量子化モデルの適用により、大幅な推論処理の高速化が実現可能となっている。同社はWindowsやLinuxなどのクロスプラットフォーム対応を通じて、開発者が高性能なAI機能を自社ソフトウェアへ容易に実装できるよう強力に支援していく構想と報じられている。