Generatived(Beta)|生成AIの最新ニュースとトレンドを提供

NVIDIA、PC 上で AI 開発用のツールをリリース
Generatived
24/1/12 9:08
NVIDIAは、開発者がWindows PC上のさまざまなアプリケーションで生成AIとラージ言語モデル(LLM)を活用できる方法を強化している。同社の開発者ツールスイートは、NVIDIA RTX AI対応PCのパワーを活用して、AI駆動のテキストおよびビジュアルアプリケーションの作成と展開を容易にするように設計されている。このツールには、オープンソースのNVIDIA TensorRT-LLM推論ライブラリーが含まれており、LLMを定義し、NVIDIA GPU上で効率的な推論エンジンを構築するプロセスを合理化する。
同社は、NVIDIA/TensorRT-LLM GitHubリポジトリーへのアクセスを提供することで、開発者がツールを使い始めやすくした。このリソースでは、Windows用の開発者環境セットアップを提供し、PC GPU互換性のためのモデル量子化の重要性を強調している。TensorRT-LLM量子化ツールキットは、VRAMが限られているPCにとって重要なステップである、モデルのメモリーフットプリントの削減に役立つ。
NVIDIAの製品には、NVIDIA RTX PC向けに調整された、NVIDIA GPUクラウド(NGC)で利用できる事前に最適化されたさまざまなLLMも含まれている。これらのモデルはすぐにデプロイできるようになっており、開発者はサポートされているさまざまなモデル用のTensorRTエンジンを構築することもできる。さらに、同社は、TensorRT-LLMを利用した、検索拡張生成(RAG)パイプラインやOpenAIのAPI仕様と互換性のあるREST APIの参照プロジェクトとリソースを提供する。
ビジュアル生成AIプロジェクトでは、NVIDIAのTensorRT SDKが重要なツールとして登場し、レイヤーフュージョンや高精度キャリブレーションなどの機能でディープ ラーニング推論を最適化する。このSDKは、リアルタイムアプリケーションや安定した拡散などの複雑なモデルに特に有益だ。開発者はリソースとデモにアクセスして、TensorRTをアプリケーションに統合し、AIパイプラインを最適化する方法を学ぶことができる。
NVIDIAは、開発者が生成AIプロジェクトをコミュニティーと共有し、NVIDIA生成AI on NVIDIA RTX開発者コンテストに参加することを奨励しており、GeForce RTX 4090 GPUやNVIDIA GTCコンファレンスへのパスなどの賞品を提供している。ソース:
最新のニュース
Arcserve日本CEO来日・戦略発表会
25/2/7 4:30
Arcserve Japan(東京都千代田区)は、ザ・キャピトルホテル東急で「Arcserve CEOクリス・バベル来日取材会」を開催。
Copyright © 2024 Generatived - All right Reserved.
ニュース
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
最新のニュース
Arcserve日本CEO来日・戦略発表会
25/2/7 4:30
Arcserve Japan(東京都千代田区)は、ザ・キャピトルホテル東急で「Arcserve CEOクリス・バベル来日取材会」を開催。